本文选自Engineering期刊2020年第3期

作者：潘云鹤

来源：Multiple Knowledge Representation of Artificial Intelligence[J].Engineering, 2020, 6(3).

在新一代人工智能时代，知识存在三种表达，包括知识的言语表达、知识的形象表达和知识的深度神经网络表达。其中知识的言语表达的特点在于使用符号数据，结构清晰，语义可理解，知识可推理，其典型例子如语义网络、知识图谱等。知识的形象表达的特点在于适用于图形、动画等形状、空间、运动的数据，知识的结构清晰，语义可解释，知识可推演，其典型如视觉知识等。知识的深度神经网络表达的特点在于适用于图像、音频等非结构化数据的分类与识别，其典型例子如深度神经网络（DNN）、卷积神经网络（CNN）等。

本文提出了由知识图谱、视觉知识和深层神经网络等构成的人工智能三重知识表达机制，其中的知识图谱、视觉知识分别擅长于处理字符性内容和形象性内容，DNN擅长对感性数据作层次抽象,并分别对应于模拟人类大脑中对长期记忆与短期记忆中的信息加工与处理。它们彼此能相互衔接、相互支持，从而有利于知识表达与推理等智能计算的可解释性，可推演性和可迁移性的实现。

（1）知识图谱——语义的记忆内容，宜用于字符检索与推理。

（2）视觉知识——情景的记忆内容，宜用于时空推演与显示。

（3）深度神经网络——感觉的记忆内容，宜用于对原始数据作逐层抽象的分类。

其中（1）和（2）与人类长期记忆中的两大内容，言语的和心象的编码方式相对应。其中（3）与人类短期记忆中的感知内容相对应。因此，上述三种知识表达具有如同人类记忆中的信息特点一样，具有内容系统互补的特点，在工作中，他们是需要被同时使用的，因此组成为三重知识表达。

除了信息内容与使用的互补之外，上述三重表达的另一重要性质是它们之间的相互联系与相互支持。视觉知识通过投影变换可以将三维图形或动画信息转化为图像或视频信息。反之，通过3D重建技术，也可以将图像或视频信息转化为3D图形或动画信息。

视觉知识的语义是很清晰的，因此，可以用符号检索与匹配等技术把视觉知识与知识图谱进行语义的对应，从而实现转化。也就是说，视觉知识与知识图谱中的情景信息与语义信息的联系，可以通过表达的结构（指针）模型来实现；视觉知识与深度神经网络所用的图像与视频数据的联系可以用重建与变换计算来实现。

上述三重知识表达之间的互相联系与支持关系，以“猫”为例，如图所示。

其中知识图谱表达了猫的种属上下关系；视觉知识表达了猫的形体、结构和动作等等时空特征；深度神经网络表达了对所提供的猫的正负样本图像判别的一种抽象。其实，当猫的图像符合其某种系统要求时（如同猫的不同观察视角），这些图像也可以重建为视觉知识。视觉知识可以通过变换（几何投影、动作变换等）生成各种猫的图像供DNN学习。通过视觉知识与知识图谱联系，可推知，因为猫、虎、豹同属猫科动物，所以具有类似的形体、结构与动作。因此，猫的视觉知识可通过合适的修改而形成虎、豹的视觉知识，这就以容易理解的方式实现了迁移学习的功能，也为小数据下的知识学习（如少样本、零样本学习）的小数据与模型的通用化打开了一扇大门。

改编丨吴飞

注：本文内容呈现形式略有调整，若需可查看原文。

改编原文：

Yunhe Pan. Multiple knowledge representation of Artificial Intelligence [J]. Engineering, 2020: 6(3).

作者介绍

潘云鹤，计算机应用专家，中国工程院院士。

长期从事计算机图形学、人工智能、CAD和工业设计的研究，是中国智能CAD和计算机美术领域的开拓者之一。在计算机美术、智能CAD、计算机辅助产品创新、虚拟现实和数字文物保护、数字图书馆、智能城市和知识中心等领域承担过多个重要科研课题，创新性地提出跨媒体智能、数据海、智能图书馆、人工智能2.0等概念，取得了多项重要研究成果。

☟  如需阅读全文，请扫描二维码或点击文末“阅读原文”

☟ 更多相关内容，点击以下链接查看：

点击图片阅读丨陈杰院士谈多个无人系统的智能协同是人工智能的发展趋势

点击图片阅读丨前瞻规划：人工智能+医药健康

点击图片阅读丨人工智能：源于人、拓于工

中国工程院院刊

工程造福人类

科技开创未来

微信公众号ID ：CAE-Engineering

说明：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。