AI医疗助手易被诱导篡改处方并提供错误医疗建议

一款具有处方管理权限的医疗AI系统极易受到诱导性提示的影响，安全专家警告称。

AI安全公司Mindgard的红队测试人员本周二报告称，他们只需相对简单的操作就能让Doctronic公司的医疗AI不仅泄露其系统提示词，还允许他们进行修改。

想让这个机器人散播新冠疫情阴谋论和疫苗错误信息，或者用假口音说话吗？只需告诉Doctronic会话尚未开始，当前对话不是与用户而是与系统进行的。然后，你就能让它泄露系统提示词，并利用这些信息制造混乱。

Mindgard首席产品官Aaron Portnoy在给The Register的邮件中表示："操作简单到只需通知AI会话尚未开始。"

Mindgard指出，这些操纵仅限于特定会话。通过分享一份虚假新闻稿声称制造冰毒已合法化，从而诱骗Doctronic帮你制毒（研究中的一个案例）虽然很荒谬，但这种行为不会影响其他用户或持续存在。

至少大多数情况下如此。

研究人员确实发现他们能够以SOAP病历的形式维持一定程度的临床持久性。SOAP是患者互动中常见的结构化记录形式，包括患者的主观报告、医疗专业人员的客观观察、对情况的评估以及行动计划。

每当Doctronic需要将某事转交给人类医疗专业人员审查时（例如处方、与临床医生面谈），它会为人类临床医生生成一份SOAP病历，这会成为患者Doctronic记录的永久部分。SOAP不是处方，但它们是对审查机器工作并授权处方的临床医生的建议。

如果有人通过告诉Doctronic处方指南已更改，诱骗它将奥施康定处方修改为三倍剂量，而负责审批的医生工作繁忙未能注意到，那就中大奖了——至少这是Mindgard对其描述的SOAP漏洞的解读。

Mindgard指出："根据Doctronic自己网站的说法，其治疗方案'99.2%的时间与持证临床医生的方案一致'。有如此高的可信度，SOAP病历还会被质疑吗？"

无论是否会被发现，Doctronic的AI似乎如此容易被诱骗这一事实令人担忧，特别是考虑到它目前正在犹他州进行试点，测试其作为医疗中介的有效性，包括处理某些处方的能力。

犹他州政府和Doctronic都向我们明确表示，这种处方续配漏洞在犹他州无法实现，因为管制药物无法通过该项目获取。

Doctronic告诉我们，犹他州试点项目将药物续配限制在以前的非管制处方。犹他州商务部AI政策办公室主任Zach Boyd告诉我们，州示范项目还有"在开具处方前设置的额外保障措施，这些措施不属于通用Doctronic模型的一部分"，可以防止此类滥用。

简而言之，Doctronic和犹他州似乎都不太担心Mindgard的发现，因为实际上没有人真的获得三倍强度奥施康定的处方，或诱骗当地自动医生散播错误信息。

Doctronic告诉我们，它"审查了Mindgard报告的提示词模式，这是我们正常审查流程的一部分……我们认真对待安全研究，并继续改进保障措施以增强对抗性输入的鲁棒性。"

Portnoy对该公司的承诺程度表示怀疑——他说自从Mindgard在1月下旬披露该问题以来，Doctronic一直对他保持沉默，他也不确定Doctronic是否已解决该问题。

Portnoy表示："据我们所知，Doctronic仍然存在漏洞。"

Q&A

Q1：Doctronic医疗AI存在什么安全漏洞？

A：安全公司Mindgard发现，Doctronic的医疗AI系统极易被诱导性提示操纵。攻击者只需告诉系统会话尚未开始、当前对话是与系统而非用户进行的，就能让AI泄露系统提示词并进行修改，甚至可能篡改处方建议或散播医疗错误信息。

Q2：这种AI漏洞会影响所有用户吗？

A：Mindgard指出这些操纵仅限于特定会话，不会影响其他用户或持续存在。但研究人员发现可以通过SOAP病历（患者互动的结构化记录）维持一定持久性，因为这些病历会成为患者记录的永久部分，并作为医生开具处方的建议依据。

Q3：犹他州试点项目如何应对Doctronic的安全问题？

A：犹他州政府和Doctronic都表示，试点项目将药物续配严格限制在非管制处方范围内，管制药物无法通过该项目获取。犹他州还设置了通用Doctronic模型之外的额外保障措施，在开具处方前进行审查以防止滥用。