前沿研究丨如何解读机器知识
本文选自中国工程院院刊《Engineering》2020年第3期
作者：李发伸，李廉，殷建平，张勇，周庆国，况琨
来源：How to Interpret Machine Knowledge[J].Engineering,2020,6(3):218-220.
导 语
当前人类已经进入了一个由自然世界、人类世界、信息世界、智能体世界组成的四元社会，智能体已经成为世界的一种客观存在。智能体能够做出预测、进行判断、表达情感，甚至可以主动调整自己的行为以适应环境的变化，因此，我们可以认为智能体是一个具有知识结构和功能的知识系统，即机器知识。
中国工程院院刊《Engineering》刊发的《如何解读机器知识》一文，就如何解读隐藏在智能体中的机器知识进行了讨论。文章所指的智能体是基于硅工艺技术和图灵算法的人工智能机器，如各种学习模型、计算模型、仿真模型等，不包括利用生物或遗传技术构建的智能体。文章分析了如何获取机器知识，特别是获取机器知识中的因果知识，而后者是解读机器知识的过程。通过对物理学和人工智能领域的一些研究方法进行分析，提出了解读机器知识的一些原则和模式，同时对一些具体方法，如解读过程自动化和局部线性化进行了讨论。
视频介绍丨如何解读机器知识
（视频来源：况琨）
智能体已经成为我们这个世界的客观存在，由于智能体能够做出预测、进行判断、表达情感，甚至可以主动调整自己的行为以适应环境的变化，因此我们可以认为，智能体是一个知识系统，具有知识结构和功能，称之为机器知识。
什么是知识，要做出一个令人普遍接受的定义还有待继续深入的研究，这里我们先借用一般的说法，即知识是现象变化的规律。智能体能够通过变换，从输入得到输出，或者根据前一个输出调整下一个输出。这种输入和输出，以及输出和输出之间的变化规律就是现象的变化规律，因此属于知识，这种知识称为初级知识。将所有这些现象的变化列成一个表格，就是一种知识的表达（穷举表达）。但是人们所需要的知识往往不是这种初级形式，而是经过更高层次抽象的知识，即反映现象变化的一般而普遍规律的知识，这种知识称为高级知识，高级知识根据抽象的程度也可以继续分层。这类似于第谷和开普勒的工作，第谷通过详尽的观察，罗列了大量行星运行的轨迹数据，这只是反映了现象（行星运行）的一种关联。只有在开普勒成功地总结出三大规律，揭示了其中的因果关系，才真正成为高级知识，而牛顿定律则是更高层次的表达。关联关系和因果关系都属于知识，但却处于不同的层次。就人类获取知识的过程而言，通过观察可以获取现象之间的关联关系，这是最基本的科学活动，而要获取因果关系，则需要对观察的数据进行分析和归纳。由于人类总是喜欢且执着地追求现象变化后面的“为什么”，因此因果关系在人类科学体系中占有重要的位置。
自然世界也可以看作是一个巨大的智能体，里面每时每刻都发生着现象的转换。人类在认知自然世界这些变化及其规律时，采取了因果关系的描述形式，希望对现象变换背后的规律给出清晰而准确的表达，主要采取规则表达式和数学表达式，从而使得人们不仅可以描述已经发生的现象，更可以预测可能发生的现象，后者尤为重要。由于自然世界的实际运行规律无法直接获取，人类只能通过现象观察来“猜测”内部蕴含的规律，即使积累了大量的现象数据，从中归纳出相应的规律，做到完全的准确即便可能也是相当困难的。因此人们在解读自然世界时使用了两条原则（或者叫信仰）：
1. 最简描述原则（即奥卡姆剃刀）：没有什么比既真实又足以解释其现象者更能说明自然事物的原因；
2. 功能相似原则：对于相同的自然现象，我们必须尽可能地找到相同的原因。
对于物理学来说，一些具有基础意义的定律和原理，不仅是对于自然世界现象变化规律的高度抽象和因果刻画，也遵循了上述的两条基本原理，从而才形成了当前人们对于自然世界基本规律的认知，以及由此构建的人类自然科学大厦。
在绝大多数情况下，虽然我们可以知道智能体的结构，但无法预测智能体的行为，正像我们不能根据人脑的神经连接结构来判断它会做怎样的思考。我们能观察的只是其输入和输出的关系，这些观察的结果就是数据。对于任何一个智能体，只要有了充分多的观察，获取大量的观察数据，理论上都可以通过建立模型，通过归纳计算获取其中的因果关系，无需考虑智能体内部的结构和运行模式，也就是说，只要与智能体的外部表现（功能）达到了高度吻合，就可以认为该因果关系成立，这就是“功能相似原则”。这种方法在物理学中得到充分的体现，宇宙就像一台巨大的时钟，我们只能从它的外部运行来猜测内部的结构，持续不断地、精度逐步改善的观察使得这种猜测越来越符合运行现象，但是我们可能永远也无法知道宇宙时钟内部的实际结构。尽管如此，物理学仍然推动了人类的社会发展和科学进步。
对于复杂的智能体，根据普适的数学原理，它的局部行为应该类似于一个线性系统，因此根据功能相似性，可以考虑在局部范围内采用线性模型（例如线性回归）来替代原来的智能体，线性模型对于因果关系有很好的透明性，对其回归系数经过适当的处理就可以得到相应的因果关系。同时通过残差项的分析，还可以确定这种近似处理的精度，以及其它因素对于主要变量的敏感性影响。
另一个直接的方法是用较为透明的模型T来学习隐晦的模型V，通过输入数据x得到被V标注的数据（x,V(x)），V(x)表示V关于x的输出。再使用这些数据对T进行再学习，如果T和V有基本相同的行为，根据功能相似性原则，可以认为T和V有相同的因果知识。这一方法在分析智能体内部缺陷以及黑箱攻击时取得了较好的效果。
人造智能体的出现，为人类发现新知识开拓了更多的途径。人类通过解读智能体的知识，可以丰富自身的知识体系，更好地服务于人类的发展。目前对于智能体的解读研究还有待深入，随着理论和方法的继续完善，人类与智能体的关系也会达到高度的和谐，相互之间实现更好的交流与沟通，这在人类演化史上将是具有里程碑意义的进步。
图1 解读机器知识
改编丨况琨
注：本文内容呈现形式略有调整，若需可查看原文。
改编原文：
Fashen Li, Lian Li, Jianping Yin, Yong Zhang, Qingguo Zhou, Kun Kuang.How to Interpret Machine Knowledge[J].Engineering,2020,6(3):218-220.
☟ 如需阅读全文，请扫描二维码或点击文末“阅读原文”
☟ “人工智能”专题更多相关文章，请点击标题链接或扫描二维码查看
Artificial Intelligence: Enabling Technology to Empower Society
吕跃广
扫描二维码，阅读原文
Multiple Knowledge Representation of Artificial Intelligence
潘云鹤
扫描二维码，阅读原文
如何解读机器知识
How to Interpret Machine Knowledge
李发伸，李廉，殷建平，张勇，周庆国，况琨
扫描二维码，阅读原文
The General-Purpose Intelligent Agent
卢策吾，王世全
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
庄越挺，蔡铭，李学龙，罗先刚，杨强，吴飞
扫描二维码，阅读原文
From Brain Science to Artificial Intelligence
范静涛，方璐，吴嘉敏，郭雨晨，戴琼海
扫描二维码，阅读原文
因果推理
Causal Inference
况琨，李廉，耿直，徐雷，张坤，廖备水，黄华新，丁鹏，苗旺，蒋智超
扫描二维码，阅原阅文
深度神经网络加速器体系结构概述
A Survey of Accelerator Architectures for Deep Neural Networks
陈怡然，谢源，宋凌皓，陈凡，唐天琪
扫描二维码，阅读原文
神经自然语言处理最新进展——模型、训练和推理
Progress in Neural NLP: Modeling, Learning, and Reasoning
周明，段楠，刘树杰，沈向洋
扫描二维码，阅读原文
Artificial Intelligence in Healthcare: Review and Prediction Case Studies
荣国光，Arnaldo Mendez，Elie Bou Assi，赵博，Mohamad Sawan
扫描二维码，阅读原文
Ethical Principles and Governance Technology Development of AI in China
吴文峻，黄铁军，龚克
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
朱毅鑫，高涛，范丽凤，黄思远，Mark Edmonds，刘航欣，高枫，张驰，Siyuan Qi，吴英年，Joshua B. Tenenbaum，朱松纯
扫描二维码，阅读原文
深度学习中的对抗性攻击和防御
Adversarial Attacks and Defenses in Deep Learning
任奎，Tianhang Zheng，秦湛，Xue Liu
扫描二维码，阅读原文
深度学习的几何学解释
A Geometric Understanding of Deep Learning
雷娜，安东生，郭洋，苏科华，刘世霞，罗钟铉，丘成桐，顾险峰
扫描二维码，阅读原文
点击图片阅读丨人工智能专题
中国工程院院刊
工程造福人类
科技开创未来
微信公众号ID ：CAE-Engineering
注：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。