我们将通过一个关于医院使用人工智能的虚构案例来说明《人工智能法》的后果。

 

一家新成立的公司开发出了一款创新软件，该软件采用智能算法，利用病人数据搜索脑损伤病人的改进治疗方法。通过该软件的输出结果，医疗服务提供者可以快速找到损伤位置，并更高效、更有效地治疗损伤。因此，医疗服务提供者可以防止脑损伤恶化，病人从脑损伤中更快康复的几率也更高。这家新创公司希望与多家医院合作，并希望利用合作医院的病人数据进行科学研究，改进算法。

 

在《人工智能法》实施之前，这家新创公司必须遵守MDR和GDPR。首先是 GDPR。新创公司必须进行数据保护影响评估 (Data Protection Impact Assessment，DPIA)，以确保数据交换符合GDPR。必须确定可能存在的风险，并采取措施。

 

其次是 MDR。由于软件可被归类为医疗器械软件，因此软件必须经过合格性评估程序，以获得公告机构颁发的 CE 证书。因此，新公司必须实施风险管理系统、质量管理系统并编写技术文档。此外，新成立的公司还必须进行临床评估，以确保产品对用户是安全的。这项评估还包括软件的安全性。此外，还必须确定可能存在的风险，并采取措施防范这些风险。在医疗器械软件获得 CE 认证后，医疗器械软件必须在EUDAMED注册。新成立的公司还有义务定期进行上市后监督，这意味着新成立的公司必须对软件的安全性和性能进行监控。新创公司还必须跟踪软件使用过程中的副作用和风险，对其进行调查，并在必要时采取行动。

 

《人工智能法》实施后，新成立的公司仍需采取上述GDPR和MDR中规定的步骤。同时，新公司还必须遵守《人工智能法》的要求。与MDR一样，软件也必须根据《人工智能法》通过符合性评估程序获得 CE 认证。因此，软件的开发和设计必须符合其预期目的，达到适当的准确性、稳健性和网络安全性水平，并在其整个使用寿命期间在这些方面表现一致。此外，软件的设计和开发必须使其操作具有足够的透明度，使用户能够理解系统的输出结果并加以适当使用。用户在使用软件时还必须有适当的人机界面工具。根据《人工智能法》，新成立的公司还必须实施风险管理系统和质量管理系统，并起草技术文件。新创公司还必须在欧洲独立高风险人工智能系统数据库中登记软件，并定期进行上市后监测，以评估软件是否持续符合《人工智能法》的规定。

 

从患者与医疗服务提供者（如医院和医生）之间的法律关系来看，医疗服务提供者对患者负有多项义务。医疗服务提供商必须遵守Medical Treatment Act、GDPR、MDR 以及众多专业标准和协议中规定的规则。例如，医疗服务提供者必须确保软件具有 CE 标志并符合欧盟和国内法律。医疗服务提供者必须用患者能够理解的语言仔细告知患者使用该软件进行的治疗以及治疗的任何后果。原则上，如果患者不同意，医疗服务提供者就不能开始治疗。医疗服务提供者也有义务对其作为医疗服务提供者在工作过程中了解到的有关患者的一切信息进行保密。这意味着，未经患者事先同意，医疗服务提供者原则上不得与新成立的公司共享患者数据。医疗服务提供者对患者的医疗行为负责。这意味着，如果患者在医疗过程中因使用软件而受到伤害，医疗服务提供者可能要承担民法和惩戒法（极端情况下还要承担刑法）规定的责任。

 

在民法中，患者可以要求医疗服务提供者对其遭受的损害负责。考虑到医疗问题的复杂性和患者的情感投入，患者在这些问题上通常会得到法律顾问的协助。在某些情况下，如果损害是由软件的缺陷造成的，而该缺陷在软件上市时就已经存在，那么患者也可以要求新成立的公司承担损害赔偿责任。

 

然而，根据《人工智能法》，医疗服务提供者也将被视为高风险人工智能系统的"用户"（"在其授权下使用人工智能系统的任何自然人或法人、主管当局、机构或其他团体，但在个人非专业活动中使用人工智能系统的情况除外）。在不影响上述义务的前提下，医疗服务提供者还负有额外的责任。

 

医疗服务提供者必须按照软件附带的使用说明使用软件。如果医疗服务提供者可以控制输入数据，则必须确保输入数据与软件的预期目的相关。医疗服务提供者还必须监控软件的运行。此外，如果医疗服务提供者有理由认为按照使用说明使用软件可能会导致风险，或者发现任何严重事故或故障，则必须通知开办公司并停止使用软件。如果医疗服务提供者无法联系到启动公司，则必须向事件发生地的国家市场监督管理局报告。医疗服务提供者有义务保存由软件自动生成的日志，只要日志在他的控制范围内。日志的保存期限必须与预期目的相符，并符合欧盟或国家法律的要求。医疗服务提供者还必须对软件的使用进行 DPIA。

 

 

来源：MDR小能手

关键词： 人工智能