人工智能决策工具对患者安全的影响因素分析

肖 尧

（武汉铁路职业技术学院，湖北武汉 430205）

随着科学技术的飞速发展，人工智能的产品在生活中随处可见，它们被应用于各种行业，而人工智能在医疗行业的作用尤为明显，人工智能可以为医生在诊断过程中提供参考，有效提升了医生的诊断正确率，同时，也节省了更多的时间，提高了患者的医疗效率，缓解医生资源短缺。人工智能的出现给医生和患者带来了很多帮助，于此同时人工智能技术也带来了一定的安全隐患。本文将重点介绍人工智能支持决策工具影响患者安全的因素，主要涉及到其计算思维、伦理思维、系统思维和设计思维四个层面，从这四个层面找出威胁患者安全的原因，进而分析这些原因并提出减少或杜绝对患者安全影响的改进策略，最大限度地提高人工智能支持决策工具辅助医生服务于患者的安全。

1 人工智能支持决策工具

人工智能是研究人类智能活动的规则，构建具有一定智能的人工系统，研究如何让计算机完成过去需要人类智能的工作，即如何应用计算机硬件和软件来模拟人类活动的理论、方法和技术的一些智能行为[1]。人工智能决策支持工具是一系列技术，允许计算机执行通常认为需要人类推理和解决问题的任务[2]。例如，在医疗行业应用中，设计使用人工智能决策支持工具，经过训练分析大脑扫描的计算机可以在出现症状之前检测出痴呆的迹象。目前，人工智能决策支持工具在各行业包括医疗行业均得到广泛应用，它主要是提高了医生的诊断效率，但另一方面其对患者安全的影响更需要得到关注。

2 计算思维层面对患者安全的影响分析

计算思维是一系列涵盖计算机科学广度的思维活动，如问题解决、系统设计、人类行为理解等[3]。人工智能决策工具通常需医院提供更高效和准确的设备，但过度依赖这些设备可能会产生无法弥补的后果。在计算思维层面，人工智能支持决策工具对患者安全的影响包括医院、医生、患者和人工智能工具开发人员等几个实体对象。根据概念映射（图1），这些实体对象在患者安全方面都有相应问题，并存在共性。

图1 概念映射图

2.1 各实体对象对患者安全的影响

医院方面，一般来说，大多数患者在医院接受治疗，如果患者在医院的病情恶化，医院可能会收到投诉，这会导致患者安全问题和对医院的不信任。

医生方面，医生应该对患者的病情有自己的判断。一旦医生过分依赖机器，他就会失去判断力，如果机器做出错误判断，患者的病情会变得越来越严重，从而影响患者的安全。

对于人工智能工具开发人员为医院创建此工具，此工具确实可以帮助医生更快地计算患者的病情和解决方案。然而，开发人员不能保证该工具给出的解决方案是100%正确的，若错误，患者的病情将继续恶化，甚至导致直接死亡，患者的安全就会受到威胁。

2.2 各实体对患者安全的共性问题分析

这个共性问题就是，机器的错误决定会导致患者的安全受到威胁。机器不会出错，因为机器总是遵循开发人员的要求，并且机器不能自己反映，只有开发人员在机器中创建算法模式，机器才能学习如何诊断患者的病情，然后给出相应的解决方案。因此，人工智能支持决策工具的主要问题是算法，因为算法支持人工智能支持决策工具的主要功能，算法的正确与否直接影响机器对患者的判断和后续的治疗计划，而后续治疗计划则将直接影响患者的安全。

3 伦理思考层面对患者安全的影响分析

伦理思考是指人们试图批判性地探究或分析问题背后的原因，并在特定情况下证明自己的选择或行为是合理的。众所周知，人工智能在医疗系统中发挥着至关重要的作用，通常用于根据患者的情况和需求做出医疗决策。人工智能决策工具可以比人类更快地做出选择，尤其是在一些复杂的场景中，因为机器在数学和算法方面比人脑要好得多，就安全性而言，即使机器在识别罕见疾病和小问题等方面也要好得多，但人们仍然更愿意与医生交谈，主要是便于患者理解决策结果。

当医生使用人工智能决策工具规划患者在医院的治疗时，需要综合考虑医院、医生、患者和人工智能工具开发人员作为利益相关者的问题。为了尽量减少危害并最大限度地发挥效益，需要从伦理思考层面进行分析。

3.1 决策工具的适宜性方面

就绝对命令部分而言，如果人工智能决策工具不适宜每个患者，那么它也不适合所有患者。另一个方面是遵循变化的规则，如果人工智能决策工具有时在做出决策时出现问题，那么它在任何时候都不适合使用。对于新开发的人工智能决策工具即使满足部分患者的特殊需求，但对于其提供的决策是否正确都需要关注。在当前阶段，可能并不适合所有人。

3.2 决策工具的实用性方面

根据功利主义原则，人工智能决策工具是否能为大多数患者带来巨大利益需要关注，从风险规避原则来讲，人工智能可以根据最新的指导方针进行标准化评估和治疗。提高最低标准，减少不必要的改变，向患者提供建议，建立识别医疗紧急情况的危险信号机制。

3.3 非正式伦理模式方面

根据黄金法则，人工智能决策工具越来越多地用于支持医疗决策，但在某些情况下，任何决定，都将由医生做出。例如，当人工智能决策工具做出拒绝对严重受伤或即将死亡的患者进行手术的决定时，医生不能只是出于对生命的尊重而遵循这个冷酷的决定。因为，在道德或伦理方面，这涉及到人类情感。

4 系统思维层面对患者安全的影响分析

在现代社会，人工智能技术在医疗行业的应用越来越受到人们的重视。在这种情况下，医院在使用该技术分析病史并获得结果时将考虑结果的准确性，因为准确率将影响患者在治疗期间的安全。Ben Zvi Assaraf 和Orion 总结了八个系统思维的涌现层次，即识别系统的组件和过程；确定组件之间的关系；确定动态关系；确定一个框架来组织系统的组件、过程及其交互；确定系统的生命周期；识别系统的隐藏维度；对系统机制的理解，找到解决问题的概括；回顾与预测[4]。这里使用因果循环图（CLD）来分析支持决策工具引起的患者安全问题，该图将以可见的方式显示行为，根据因果分析循环图（图2）我们可以得出组件之间的关系，这些都涉及到对患者安全的影响。

图2 因果分析循环图

4.1 技术的发展将提高结果的准确性

随着技术的发展，人工智能工具的结构将得到改进，这些工具中使用的数据将是完整的。在这种情况下，结果可能会获得较高的精度。然而，环境总是在变化，每年都会有网络病毒，当开发人员发现精度下降时，他们必须维护和改进旧系统，以便再次提高精度。

4.2 准确性与患者治疗率呈正相关

病历报告的高准确性可以帮助医生做出适当的治疗决定。换句话说，治愈的可能性将增加。相反，如果结果的准确性较低，医生可能会做出错误的决定，患者可能无法按时治疗。在这种情况下，治疗率将降低。

4.3 过度依赖决策工具将可能导致准确性下降

医生过度相信人工智能支持决策工具将会导致准确性下降。毫无疑问，使用人工智能技术的产品给我们带来了很多好处，例如：通过使用计算机医嘱输入（CPOE）和临床决策支持系统（CDSS），大多数药物和可预防的不良药物事件（ADE）可以在药物订购阶段预防，有研究数据表明，用药错误减少了81%，未截获的严重用药错误减少了86%[5]。在这种情况下，越来越多的人将乐于使用这些工具来帮助他们做出决策，医生可能更愿意相信由辅助决策工具分析的结果。因此，如果系统有错误和误导性的算法，医生可能会被这些结果误导，并做出错误的决定，这可能会导致医疗疏忽，从而威胁患者的安全。

一般来说，系统思维可以帮助我们从整个系统过程中分析思考，通过分析各组成部分之间的关系，找出产生问题的原因。我们可以发现，虽然支持决策系统可以为医疗行业带来好处，但如果利益相关者过度依赖这项技术并失去自己的判断，也会给患者带来一些安全问题。

5 设计思维层面对患者安全的影响分析

设计思维通常被定义为一个分析和创造性的过程，一个好的设计思维应该具备可视化、创造性等特征[6]，设计思维主要包括移情、定义、构思、原型和测试等五个“模式”，这些“模式”在人工智能支持决策工具设计实施中都具有其重要性，并将对患者安全方面构成影响。

5.1 移情模式下对患者安全的影响

移情是人类解决问题的路径。医生、护士和医生试图解决的问题很少是他们自己的，通常认为是患者的问题。医疗服务提供者需要通过了解患者在就诊或治疗期间的体验、价值观和期望，为其患者建立同理心。医生需要根据患者的生活质量观察患者的行为，有些问题可能是隐性的，最好的解决方案是通过对患者的观察与交流，找到解决问题路径。例如，发现患者无明显原因缺席预约，如果发现他们是因为觉得等待时间太长，那我们就应设计实时等待时间应用程序，以便更轻松地为他们安排预约。

5.2 定义模式下对患者安全的影响

定义模式是当我们想要探索我们的同理心发现到需求和见解，并界定一个有意义的挑战项目。然而，这种模式不仅仅是定义问题，它需要具体、可操作和可测量，否则定义的问题将一事无成。为了真正产生创造力，我们必须根据通过移情工作获得的新见解重新审视挑战。最重要的是，我们需要有一个壮观的视野，并产生许多可能性，例如头脑风暴。

5.3 构思模式下对患者安全的影响

构思模式是一种生成激进设计方案的模式，用于探索广泛的解决方案。例如，如果我们想解决缺席预约的患者，并想为患者探索解决方案，我们可以将我们的解决方案从实时等待时间更新应用程序、免费公交车共享来接送患者、虚拟协助来提醒患者预约等等，以及从这个庞大的想法库中分离出来，我们可以以产品或服务的形式构建原型，以测试患者。这种模式最重要的部分是不要拒绝任何想法，即使它看起来/听起来很荒谬，但非常重要的创新想法有时就来自于它。

5.4 原型模式下对患者安全的影响

原型是思想的实现。原型可以是我们实际实现的任何物理形式、诊断设备、新的简化服务等。然而，由于监管，医疗原型的成本通常很昂贵。因此，当相关方设计原型时，他们应该在昂贵的基于计算机的模拟或角色扮演中运行，我们可以从互动或行动中学习，从而推动更深层次的同理心并形成成功的解决方案。

5.5 测试模式下对患者安全的影响

测试是收集反馈、完善解决方案和继续了解患者的好机会。例如，如果我们想看看实时等待应用程序是否有效，我们可以对两组患者进行测试，其中一组使用该应用程序，而另一组不使用。然后通过比较这两组人，我们可以看出该应用程序是否有助于人们参加预约。如果在使用应用程序时缺席率显著降低，这意味着我们走在了正确的轨道上，可以继续对原型进行下一阶段的改进。

6 结语

人工智能技术虽然可以帮助人们节省时间，但人工智能技术仍然存在许多隐患，人工智能支持决策工具对医院患者安全的影响也是需要高度关注的方面，第一是人工智能支持决策工具的算法设计方面，算法的正确与否将直接影响决策依据，并将影响医生对患者治疗方案的选择和患者安全；第二是人工智能使用与否与人类情感方面，也就是在道德或伦理方面人们的情感需受到关注，当人工智能支持决策工具不适用于医院中所有需要它的人时就不应该在医院中使用；第三是不应过度依赖人工智能支持决策工具，医生必须有自己的判断，不能仅仅依靠机器的预测和决定，否则可能导致患者安全方面的医疗事故。总之，医生应该从患者安全的角度考虑问题，全面了解患者情况，并向机器提供最详细的数据，并设计一种收集患者信息的方法，然后通过收集的信息整合反馈，最后将信息传递给机器，而不是完全依赖机器分析。