Rest, Motion, and Morality: Introduction to Autonomy

作者：阿曼达·安德烈（Amanda Andrei）

When you hear the wordautonomy, it tends to be in the context of autonomous vehicles – self-driving cars that take passengers wherever they need to go without the need for human input. But autonomy extends to other entities: robots, unmanned aerial vehicles (UAVs), and artificial intelligence (AI) embedded into an expert advisory system, such as air traffic control. The concept of autonomy lives in most of the technology around us and becomes increasingly important as people place more and more trust in the decisions of these machines and embedded systems.

休息时的自主权，运动中的自主权

The国防科学委员会的夏季研究categorized intelligent systems in two ways: those that use休息的自主权和那些使用的人autonomy in motion。

Autonomy at rest refers to systems that operate virtually, typically in a software-only environment. These include planning and expert systems, natural language processing, and image classification systems – automatic methods of assisting someone with a decision or finding an optimal area in a search space. You’ll find autonomy at rest operating in areas of data compilation, data analysis, web search, recommendation engines, and forecasting – so everywhere from what you search on Google to what book Amazon recommends you to next.

运动中的自主性更多地是指物理世界中的系统，例如机器人和自动驾驶汽车。当这些物体在运动中时，将做出直接应用于物理环境的决策，从而考虑到天气，光线，地形，人的存在等因素。例如，自动驾驶汽车需要感知雨或雪，夜晚，高速公路或土路，城市或农村环境，以便安全有效地行驶。

目前，大多数系统都是远程操作的，而不是自主。但是，正如Miter高级自主智能系统工程师Carrie Rebhuhn博士指出的那样：“人类在处理大量数据方面真的很不好 - 这就是我们真正需要自治的主要原因。例如，如果我们一次查看一个控制多个机器人的系统，那么每个机器人都需要快速响应这些数据！您不一定希望人类决定机器人将在其环境中采取的道路上的每一步。”

自主和道德的看法

But if a human does not dictate or guide every step in an autonomous system’s decision-making process, what does this mean for behaviors, social norms, and eventually… morality? When do an autonomous system’s actions have social and moral consequences?

2017年12月，MITER的创新棕色袋系列邀请了布朗大学认知，语言和心理科学系心理学教授Bertram F. Malle博士进行演讲。人们对自治系统作为道德代理的看法。马尔（Malle）介绍了几项案例研究，涉及人们如何应对机器人，人工智能和其他自治主义者做出的道德意义重大决定。

什么在社会和道德上是重要的？出于演讲的目的，马尔通过“符合或违反社会或道德规范的行为”的工作定义回答了这个问题。例如，美国人会假设与他们互动的类人类机器人会直接看着他们的眼睛 - 但是在某些亚洲文化中，这种行动可以解释为粗鲁或侮辱。或考虑一名护理助理机器人，该机器人可以监视一个人的疼痛水平，并被患者要求将剂量增加到医生的处方（并且出于某种原因，机器人可能无法到达医生以超越这一困境）。机器人中的什么规则系统可以解决此问题？什么规范可以违反？

马尔和他的团队试图找出人类如何看待自主机器人做出的决定 - 无论是对机器人的行为应用道德规范还是判断。他们向人类受访者提供了基于的场景the trolley problem并提出了诸如“修理工|多少责备”之类的问题。机器人]应该得到[切换|不切换]火车上侧导轨？”

该团队发现人们对人类而不是机器人的期望不同 - 例如，期望机器人会采取行动和指责机器人的行为较少，而不是在假设的生命和死亡情况下采取任何行动。（有趣的是，三分之一的样本甚至驳斥了机器人道德机构的想法，总的来说，机器人首先是没有道德决定的）。

马尔还指出，无关紧要的学习，检测模式和模仿的自主和人工智能系统会导致灾难性和无意的后果，例如侮辱，偏见或种族主义行为。通过了解人类如何看待这些自治系统，并通过批判性地思考可能训练系统的社会和道德规范，工程师和设计师可以发展具有道德责任感的代理商。

There are even more challenges to designing, developing, and maintaining autonomous systems. Stay tuned for our next blog post,Challenges in Autonomy,to learn more.

Amanda Andrei is a computational social scientist in the Department of Cognitive Sciences and Artificial Intelligence. She specializes in social media analysis, designing innovative spaces, and writing articles on cool subjects.

See also:

数据科学从业者

数据科学的应用：抗差异性

数据科学的应用：脑瘫患者的严肃游戏

Technical Challenges in Data Science

Defining, Applying, and Coordinating Data Science at MITRE

Rising to the Challenge: Countering Unauthorized Unmanned Aircraft Systems

Mistakes and Transcendent Paradoxes: Dr. Peter Senge Talks on Cultivating Learning Organizations

MITRE Hackathon Examines Impact of Emerging Mobile Technologies

Digital Notebooks for Emergency First Responders

Managing Knowledge Through Systems Visioneering

manbetx客户端首页Miter Corporation是一个非营利组织，由联邦政府赞助的研发中心运营。Learn moreabout MITRE.