医疗人工智能应用存在以下风险:
法理防范措施包括:
需要注意的是,欧盟法律规定的用于检测提供金融服务过程中的欺诈行为以及用于计算信贷机构和保险企业资本要求的尽职审慎目的的人工智能系统,以及用于自然人健康和人寿保险风险评估和定价的人工智能系统,在符合一定条件时不视为高风险系统。
欧洲议会和欧盟理事会规定人工智能的统一规则,并修正300/2008号、167/2013号、168/2013号、2018/858号、2018/1139号和2019/214号条例以及2014/90/EU号、2016/797号和20(4)人工智能是一个快速发展的技术族,能够为各行各业和社会活动带来广泛的经济、环境和社会效益。通过改进预测、优化运营和资源配置,以及为个人和组织个性化可用的数字解决方案,人工智能的使用可以为企业提供关键的竞争优势,并支持有益于社会和环境的成果,例如在医疗保健、农业、食品安全、教育和培训、媒体、体育、文化、基础设施管理、能源、运输和物流、公共服务、安全、司法、资源和能源效率、环境监测、生物多样性和生态系统的保护和修复,以及气候变化的减缓和适应。(5)同时,根据其具体应用、使用情况和技术发展水平,人工智能可能会产生风险,并对受欧盟法律保护的公共利益和基本权利造成损害。这种损害可能是物质性的,也可能是非物质性的,包括身体、心理、社会或经济的损害。(6)鉴于人工智能可能对社会产生的重大影响以及建立信任的必要性,人工智能及其监管框架的发展必须符合《欧盟条约》第2条所载的欧盟价值观、各项条约和《宪章》所载的基本权利和自由。作为前提条件,人工智能应是以人为本的技术。人工智能应作为人类的工具,最终目的是提高人类福祉。(7)为了确保在健康、安全和基本权利方面对公众利益提供一致和高水平的保护,应为所有高风险人工智能系统制定统一的规则。这些规则应与《宪章》保持一致,并应当是非歧视性的,且符合欧盟的国际贸易承诺。这些规则还应考虑到《欧洲数字权利宣言》和《数字十年原则》以及人工智能高级别专家组的《值得信赖的人工智能的伦理准则》。
欧洲议会和欧盟理事会规定人工智能的统一规则,并修正300/2008号、167/2013号、168/2013号、2018/858号、2018/1139号和2019/214号条例以及2014/90/EU号、2016/797号和20(83)鉴于人工智能系统价值链的性质和复杂性,并且根据立法新框架的原则,必须确保法律的确定性,并促进对本条例的遵从。因此,有必要明确价值链上的相关经营者的作用和具体义务,如可能促进人工智能系统发展的进口者和分销者。在特定情况下,这些经营者可能会同时扮演多个角色,因此应累计地履行与这些角色相关的所有义务。例如,经营者可同时担任分销者和进口者。(84)为了确保法律的确定性,有必要澄清,在特定的条件下,任何分销者、进口者、部署者或其他第三方都应视为高风险人工智能系统的提供者,并因此承担所有相关的义务。如果该方在已投放市场或提供服务的高风险人工智能系统上冠以自己的名称或商标,尽管如此行事不妨碍合同中规定以其他方式分配义务的安排,或者如果该方对已投放市场或提供服务的高风险人工智能系统进行实质性修改,使其仍然属于第6条所指的高风险人工智能系统,则属于这种情况,或者如果其修改了一个人工智能系统,包括通用人工智能系统的预期用途,而该人工智能系统尚未被归类为高风险系统,并且其已经投放市场或提供服务,根据第6条的规定,该人工智能系统成为高风险人工智能系统。这些规定的适用不应妨碍本条例应与之共同适用的特定的新立法框架部门立法中的具体规定。例如,745/2017号条例第16条第2款规定,特定的修改不应视为可能影响其符合适用要求的设备修改,应继续适用于属于该法规意义上的医疗设备的高风险人工智能系统。
欧洲议会和欧盟理事会规定人工智能的统一规则,并修正300/2008号、167/2013号、168/2013号、2018/858号、2018/1139号和2019/214号条例以及2014/90/EU号、2016/797号和20(58)另一个值得特别考虑的,使用人工智能系统的领域,是获得和享受特定的必要的私人和公共服务和福利,这是人们充分参与社会或提高生活水平所必需的。特别是,申请或接受公共机关提供的基本公共援助福利和服务,即医疗保健服务、社会保障福利、在生育、疾病、工伤事故、依赖或年老和失业情况下提供的社会保护以及社会和住房援助的自然人,通常依赖于这些福利和服务,相对于负有权责的机关来说处于弱势地位。如果机关使用人工智能系统来决定是否应给予、拒绝、减少、取消或收回这些福利和服务,包括受益人是否合法享有这些福利或服务,这些系统可能会对人们的生计产生重大影响,并可能侵犯他们的基本权利,如社会保护权、不受歧视权、人的尊严权或有效补救权,因此应被列为高风险系统。尽管如此,本条例不应妨碍公共行政部门开发和使用创新方法,因为更广泛地使用合规和安全的人工智能系统将使公共行政部门受益,前提是这些系统不会给法人和自然人带来高风险。此外,用于评估自然人的信用分数或信用度的人工智能系统应被归类为高风险人工智能系统,因为它们决定了这些人获得金融资源或住房、电力和电信服务等基本服务的机会。用于此目的的人工智能系统可能会导致对个人或群体的歧视,并延续历史上的歧视模式,例如基于种族或民族血统、性别、残疾、年龄、性取向的歧视,或造成新形式的歧视性影响。然而,根据本条例,欧盟法律规定的用于检测提供金融服务过程中的欺诈行为以及用于计算信贷机构和保险企业资本要求的尽职审慎目的的人工智能系统不应视为高风险系统。此外,用于自然人健康和人寿保险风险评估和定价的人工智能系统也会对人们的生活产生重大影响,如果设计