NHS监管机构警告，监听并转录患者与医生咨询的人工智能技术可能会因错误识别药物和疾病名称而使患者处于风险之中。病例中，一名女性因人工智能书记员对她谈话的总结错误地指出她有脱髓鞘化——严重的神经损伤，可能导致多发性硬化，令她感到十分震惊。只有当这位患者，一名NHS健康专业人士，质疑人工智能工具对她MRI扫描结果的记录时，医院才将其更正为应有的“无脱髓鞘化”。这位女性表示：“最终这得到了纠正，但因为人工智能而给予错误诊断的经历是非常创伤的，然后又被告知这是个打字错误。” Healthwatch England强调了这一案例及其他人工智能书记员的错误，显示这种技术在NHS快速推广之际，可能对患者安全构成威胁。监管机构表示，除非能被发现，否则错误可能会最终出现在患者的医疗记录中，从而影响他们的护理。在另一起案例中，一名人工智能书记员混淆了医生开给患者的药物与另一个名称相似的药物——这一失误同样是患者而非医生发现的。还有一次，人工智能生成的总结信中没有提到医院专家告知患者要向他们的全科医生寻求偏头痛的重复处方，这可能使他们无法获得药物。Healthwatch，作为法定的NHS患者代表，表示：“我们已经听到了多个患者的故事，他们在健康专业人士未发现时注意到了这些错误。 如果患者未能发现，这些不准确的信息可能会持续存在于他们的记录中。” 英国政府的NHS十年健康计划预计人工智能书记员将“解放员工免于当前的繁文缛节和行政负担，腾出时间来照顾和关注患者”。这对NHS计划的“重大转变”从模拟服务向数字化服务的转变至关重要。Healthwatch的一名发言人表示：“医疗保健从来没有完全没有错误。但我们的研究结果表明，迫切需要明确患者如何报告并纠正人工智能书记员工具或使用它们的专业人员所犯的任何错误。”患者协会的首席执行官Rachel Power说：“对这项技术的信任和信心取决于与患者之间良好的沟通和真正的伙伴关系，而现在这两者都缺失。”Healthwatch还表示，有些令人担忧的是，药品和健康产品监管局决定不将人工智能书记员归类为医疗设备，这意味着不会有全英范围的监督来确保它们的安全和有效性。 英国的全科医生和医院医生已经在使用27种不同的人工智能书记员。部长们已被警告，NHS和医务人员可能会因人工智能造成的错误而面临诉讼。最近，当Rotherham的患者向当地Healthwatch投诉时，人工智能接待员在一些地方全科诊所中使用时未能理解他们浓厚的约克郡口音，因此引起了公众的关注。伦敦的全科医生Dr Shier Ziser Dawood在去年发表的一本著名医学期刊中警告称，人工智能书记员可能对家庭医生造成“有利有弊”。她回忆说，一名人工智能书记员提到她告诉患者“继续服用他们的百忧解”，尽管她并没有给他们开处方或讨论过该药物。这是所谓的“幻觉”的例子，人工智能书记员提到咨询时并未提出的内容。她警告说，医生需要审核所有记录以检查错误，这意味着人工智能工具尚未证明能够节省时间。考虑到NHS高层相信书记员将意味着全科医生不再需要在约诊中做笔记，家庭医生可能被期望每天再接待两名患者，尽管NHS的全科医生咨询时间已经是世界上最短的时间之一，Dawood在《英国全科医学杂志》中写道。瑞典乌普萨拉大学的医疗保健人工智能使用专家Dr Charlotte Blease表示：“人工智能确实会犯错误。”她的研究发现，使用环境语音技术的全科医生认为，当咨询对象人数超过一个、患者有复杂的病史以及母语不是英语时，错误更可能出现。但她还补充道：“事实是，医生在没有人工智能的情况下也会犯错。而且错误率可能确实更高。”她去年对1003名英国全科医生的调查显示，超过一半的受访者认为他们的环境人工智能记录比自己产生的记录更准确。