更好的实践可辩解的决策:可辩解的AI的讨论
作者:詹妮弗博士逃走
2019年11月,苹果卡的客户抱怨时,他和他的妻子分开申请苹果卡信用,和他的妻子被信用额度低于20倍他尽管他们共同拥有共同财产中的所有资产状态。据尼尔·维格多在一个文章在纽约时报苹果卡片代表入住和回来的解释,“这是这个算法。“高盛(Goldman Sachs)、内卡与苹果公司提供了一个类似的解释,说明信用额度的差异是由于人工智能(AI)的使用机器学习(ML)算法,算法中没有偏见,因为员工没有性别的知识的申请者。从这个账户,类似的新闻,看来,一个关键的问题在这个消费,公共万博下载包关系,法律梦魇是没有one-developers,测试人员,实现者,帮助台人员,管理或customers-adequately理解这个算法或AI ML算法总体工作。同样清楚的是,没有办法充分解释特定的客户信贷决策。
正确的有意义的解释是深深植根于我们的法律,实践和文化。的平等信用机会法》州,当申请人经历一个“不利行动,”如低信用额度,必须具体行动”的原因并指出(s)的主要原因。“此外,”语句,不利的行动是基于债权人或政策或申请人的内部标准,共同申请人,或类似的政党未能达到合格分数债权人的信用评分系统是不够的。”
有特别关心理解不良行为AI毫升的结果。例如,美国联邦贸易委员会(Federal Trade Commission)指导人工智能应用指出,“执法行动,研究,和指导强调使用人工智能工具应该是透明的,可辩解的,公平的,和经验的声音,同时促进问责制。“国防部道德原则人工智能指出:“美国的AI功能将开发和部署,有关人员拥有一个适当的对技术的理解,开发流程,适用于人工智能的功能和操作方法,包括用透明和可审计的方法、数据的来源,和设计程序和文档。“国家的人工智能研究和发展战略计划:2019更新”强调需要解释清楚和透明的系统信任的用户,对用户执行的方式是可以接受的,并且可以保证作为用户的目的。“这些科学技术差距正在解决的一系列研究,包括国防高级研究计划局(DARPA)新品程序。
然而,什么是explainablility和透明度或类似的可解释性等问题或auditability-often取决于正在和谁解释道。理想情况下,苹果卡信用评估系统是设计和建造生产一个答案可以理解的用户。例如,它可能是设计和建造来显示特定的文本或其他信息用于计算决定。用户可以联系公司谈论的有效性和加权数据而不是一个黑盒算法的性能。
然而,大多数的新品是针对开发人员为了调试和测试他们的系统,以及提供答案的情况下他们的客户支持团队和管理等与苹果的卡片,当一个决策结果不符合预期。详细描述的花招火星,他们通常使用软件可视化建模工具来检查结果对主要因素,如性别、或对控制数据集测试算法。
查克•豪厄尔横切可靠的AI,首席科学家指出,开发人员常常看哪些数据将扭转的结果(例如,数据会为妻子提供了相同的苹果卡片信用额度作为她的丈夫)。在苹果卡的例子中,如果答案是一个男性的名字(即。,“Bob” instead of “Sue”), the developers would know to look for gender bias. If another answer is to raise the wife’s salary in the application by $50,000, then additional analysis may be needed regarding comparative salaries and/or relationships between multiple factors that may be responsible for reaching this result.
一些因素可能不那么明显。例如,当亚马逊使用一个AI毫升系统分析对他们的高品质表演者和比较概要的求职者,系统提供了一组建议,是偏向男性,因为大多数的表演者都是男性。高表演者是男性,但是,因为没有实例在这个数据集的高表演者参加了女子学院。新求职者,他们参加了一个女子大学因此得到较低的分数比如果他们参加了一个男或女大学。这个限制在数据可以纠正,可能通过添加数据女子学院的毕业生,即使它并不代表亚马逊的经验。
然而,对于许多AI毫升决策和许多其他类型的产品,情况更加复杂。豪厄尔指出,并非所有的人工智能毫升系统或其他产品可以产生解释可以理解到目标用户。例如,一个系统可能确定的核磁共振成像的数据被用于制造一定的决心。然而,高数学的输出将不被大多数患者可以理解,甚至被大多数医生。这需要专业人士与特定的训练来解释它。
此外,通常需要一个系统来访问实际的知识,比如,性别歧视在当今世界消极看待社会和法律禁止。美国国防部高级研究计划局看到的新品的下一阶段作为一个“机器理解上下文和他们的运作环境。“与此同时,人类与机器需要密切合作以开发系统,可以解释为人类和/或机器给最终用户。此外,开发人员、社会科学家和决策分析人员需要更好地理解的解释可接受,有利于用户。他们也需要更好地理解用户需要的条件或不需要某些类型的信息,和用户的条件会接受一个解释或者缺少一个系统的解释,一个人,或一些组合。
詹妮弗博士逃走是主要AI斜方公司的工程师。manbetx客户端首页在这个位置,她在美国政府工作,在国际标准组织AI实践和工具。
©2020斜方manbetx客户端首页公司。保留所有权利。批准的公开发布。无限的分布。20 - 1680
横切为导向的团队致力于解决问题的一个更安全的世界。通过公私伙伴关系和联邦政府资助研发中心,我们在政府工作,与行业合作应对挑战的安全、稳定和幸福。了解更多主教法冠。
参见:
当Intoxicado≠陶醉:避免虚伪的朋友,在机器翻译关键的后果
这是什么意思对人工智能实现平价与人类?一个案例研究的神经机器翻译