外媒 | 应用BERT解析死亡事件，提高医疗器械安全设计-普瑞纯证

据最近一项研究显示，由于许多事件未被报告为死亡，因此FDA的MAUDE（制造商和用户设施体验）数据库中的死亡事件数量被严重低估。Lalani等人手动审核了290,141个MAUDE报告，发现约17%的死亡事件被错误分类。这意味着患者已经死亡，但该事件被标记为“故障”或“受伤”。手动审查需要不同医学专业的专业知识，且太耗时，无法处理数百万个添加的报告。这个问题可以被视为二进制分类问题。我们可以微调BERT模型来解决它。

BERT代表双向编码器从变换器中的表示。最近在预训练神经语言模型方面取得的进展已经显著提高了许多自然语言处理（NLP）任务的性能，包括机器翻译、下一个句子预测、问答和情感分析。在所有新的方法中，BERT是最重要的之一。“双向”和“变换器”的命名表明了这个模型的独特特点。历史上，NLP模型只能以任何固定顺序顺序读取文本输入，无论是从左到右还是从右到左，但不能同时读取。 2017 年，Google推出了变换器 Transformer，不需要以任何固定顺序处理数据序列。这使得可以在比传统卷积神经网络（CNN）和循环神经网络（RNN）更大的数据集上进行训练。通过变换器的支持，BERT被设计为可以同时双向读取，即双向性。BERT的另一个独特特点是，它可以使用一种额外的输出层进行微调，使用更少的资源来创建用于广泛任务的最先进的模型。许多研究人员正在使用特定的上下文表示预训练BERT模型的体系结构，为特定任务微调该模型。其一些例子包括：用于专利分类的patentBERT；用于科学文本的SciBERT；用于生物医学文本挖掘的BioBERT；用于分子性质预测的ChemBERTa；以及用于药物推荐的G-BERT等。

微调BERT的过程始于一个新的数据集。在我们的情况下，我们需要构建一个反应死亡事件的培训集，标记为死亡相关或死亡无关。在这项研究中，我们避免了手动标记，假设将不正确的死亡标签应用于不良事件是罕见的。医生或制造商将无关事件报告为死亡事件很少见。因此，我们假设所有与死亡相关的报告都有正确的标签。所有具有“死亡”事件类型或患者问题“死亡/疾病”的MAUDE报告都被视为是有正确标签的。

版权声明 本网站所有注明“来源：普瑞纯证”或“来源：pureFDA”的文字、图片和音视频资料，版权均属于普瑞纯证网站所有。非经授权，任何媒体、网站或个人不得转载，否则将追究法律责任。取得书面授权转载时，须注明“来源：普瑞纯证”。其它来源的文章系转载文章，本网所有转载文章系出于传递更多信息之目的，转载内容不代表本站立场。