沈向洋指出：“‘黑箱’带来的挑战在于，即便其做出的预测是准确的，我们却仍不知何时可以信赖它，或者从中学到什么。更进一步说，即便模型是准确的，在做高风险决策时，也需要知道究竟是什么原因使然。”

　　人工智能怎样做决策？“目前有种方法可提供解释说明，包括人工智能系统如何运行、怎样与数据进行交互的背景信息，但其最有可能损害用户以及受这些系统影响的人员的信任。通过这些信息，人们将会更容易识别和意识到潜在的偏见、错误和意想不到的结果。仅仅发布人工智能系统的算法很难实现有意义的透明度。最新（通常是最有发展前途的）人工智能技术，例如深度神经网络，通常没有任何算法输出可以帮助人们了解系统所发现的细微模式。”沈向洋指出。

　　鉴于此，人们需要一个更全面的方法，使人工智能系统设计人员能够尽可能完整、清晰描述系统的关键组成要件。据了解，微软也在与人工智能合作组织及其他组织合作开发最佳实践规范，以实现人工智能系统有意义的透明度。包括通过实践规范以及各种其他更易于理解的方法、算法或模型，来替代那些过于复杂且难以解释的方法。

　　准确率和可解释性不该是对矛盾

　　要理解机器学习模型内部如何运行，开发出新技术，来提供更有意义的透明度，需要对这一领域开展进一步研究。

　　来自微软的里奇卡鲁阿纳等学者提出“提炼与比较”（Distill-and-Compare）的方法。据沈向洋介绍，面对许多已被广泛应用的专有或不透明的模型，这种方法能够在不探测“黑箱”API（应用程序接口）或预先定义其特性的情况下进行核验。通过将“黑箱”视作老师，训练出透明的学生模型，来模拟原本的“黑箱”，并将它与真实情况进行对比。

　　而微软研究院有学者提出“‘黑箱’无关”的思路，当医生无法采纳“黑箱”对病人感染流感率的预测结果时，一种解决方法是利用特征归属的办法根据不同特征之于模型的重要性，为其赋予权重。其中，解释过程认为“打喷嚏”“头疼”是指向流感的证据；而没感到疲惫，则是否认流感的证据。这里权重带有正向或反向的方向性，同时其权重大小也各不相同，“头疼”的权重要明显高于“打喷嚏”。对于医生来说，这样的解释要比简单给出一个“患流感概率90%”有用得多。

　　沈向洋表示，随着神经网络模型越来越复杂，在准确性越来越高的同时，研究人员遇到一个问题，即不得不在模型的准确性和可解释性之间做出妥协，因为两者常难以兼顾。尤其随着在深度学习模型上进一步推进，经常会牵扯到几百万个乃至数十亿的参数。结果是，有时候研究人员做出一个行之有效的模型，却并不能完全理解其中的缘由。如用一个高准确率的模型来预测病人感染流感的几率，却只能给医生呈现一个数字，或是“阳性”的诊断，而无具体佐证，那么，即便得到的结论是正确的，在医生看来也用处不大因为医生并不知其结论是如何被推导出的。

　　因此，要打造负责任的人工智能，确保其决策透明，即“我们能够理解并看到人工智能所做的决定”，尤其需要开发可翻译、可解释的人工智能模型，以了解人工智能是如何做出这些决策的。特别是在事关重大的关键领域中，需要对模型全面理解，以此避免出现错误。高准确率和高可解释性的人工智能将有助真正将技术进行广泛、负责任、有效的应用，造福人类生活。（记者 华 凌）