袁野、周号益：神经符号计算：理论、技术与应用 | CNCC专家谈

神经符号计算是将神经网络计算和符号规则推理相结合的一种新型计算方法。神经网络擅长处理非结构化数据，如文本、语音和图片等；符号系统擅长处理结构化数据的语义推理，在数据库和知识图谱领域广泛应用。神经符号计算通过“神经”和“符号”的融合交互来提高学习模型的泛化性、鲁棒性和可解释性，从而应对复杂的现实问题，其理论、技术与应用是领域内重要的研究课题。

大模型也会“张口就来”？

过去几个月，ChatGPT 及其衍生的各种大语言模型(LLMs)横空出世，吸引了全世界的注意力。所有人都痴迷于对着略显简陋的输入框，询问各种问题，等待背后的神经网络给出答案。尽管大模型给出答案中知识的「深度」和「广度」令人们吃惊，但时不时地，它也会虚构出一些子虚乌有的人或者事，并且保持强烈的自信，对这些胡编乱造的信息张口就来。OpenAI的首席执行官Sam Altman就曾在Twitter上公开表示：“ChatGPT确实知道很多东西，但危险的是，它在相当大的一部分时间里是自信而错误的。”为什么大模型会如此自信地胡扯？一些研究者认为是因为背后的神经网络产生了“幻觉”，使得这些大模型在很多简单的推理场景下依然会犯很低级的错误。

神经网络的“幻觉”引起了不少麻烦

当神经网络由于“幻觉”问题，产生了可能误导、误传或诽谤的虚假信息时，这可能引发大麻烦。最近，《华盛顿邮报》报道了一位法律教授，他发现ChatGPT将他列入了一份对某人进行过性骚扰的法律学者名单。但这件事从未发生过——是ChatGPT编造的。同一天，Ars报道了一位澳大利亚市长，据称他发现ChatGPT声称他被判定犯有贿赂罪并被判处监禁，这也完全是捏造的。

大模型产生的“幻觉”问题

正如AI医疗保健公司Huma.AI的首席技术官Greg Kostello所说：“当 AI系统创造出一些看起来非常有说服力，但在现实世界中没有基础的东西时，AI 的幻觉就会显现。”当被问及如何看待“AI幻觉”时，Anthropic(聊天机器人Claude 2的技术公司)联合创始人兼总裁Daniela Amodei曾表示：“我认为现在还没有任何模型能完全避免某种程度的幻觉。这些模型实际上只是设计用来预测下一个词，所以在这方面模型不准确的概率是存在的。

这种学习系统固有的内生问题给我们带来了一些思考：符号知识/知识表示在神经网络学习系统中可能会是非常重要的。

“连接主义” vs “符号主义”

尽管以Chatgpt为代表的大模型的出现是连接主义的“胜利”，我们也不能忽视自人工智能诞生之初就存在的另一学派——“符号主义”。众说周知，以连接主义或神经系统为代表的感知和以象征主义或符号系统为代表的认知是人工智能(AI)领域的两个基本范式：

·连接主义：基本思想是利用计算机来模拟人类的生理结构，也就是神经网络。包括神经网络在内的深度学习实际上更多的是解决感知层面的问题，比如识别、判断等；

·符号主义：基本思想是利用计算机来模拟人类的心识思维，更多的是解决推理层面的问题，由此逐步发展出了知识工程专家系统，知识图谱就是这一类学术思想的一个延续。

 连接主义与符号主义^[1]

上图展示了这两种范式的兴衰。目前，连接主义AI（深度神经网络）是如今最主要的学习范式，它在计算机视觉、语音识别、自然语言处理等感知任务中取得了显著的，并且这种范式能成功学习统计相关数据(statistically correlated data)，对数据噪声有很高的鲁棒性。但是，我们并没有完全理解大多数成功模型的原理，而是通常视其为端到端的黑盒，正是因为这种黑盒性质，限制了深度神经网络在一些依赖可靠性任务上的应用。对于符号主义而言，传统的符号系统很难处理机器学习问题，对于数据噪声的容忍性低，但是由于符号性质、学习规则，它很容易被理解并且被人所评估，以及融入表现背景知识的设计。

 图2 符号系统与神经系统^[2]

 图3 IJCAI 2018 tutorial

当机器学习遇见逻辑推理——神经符号计算

长久以来，如何使机器学习和逻辑推理(logical reasoning)协同工作是人工智能领域的圣杯问题(holy grail problem)。然而，一旦二者能够无缝融合，即像人类可以综合运用“感知(Perception)”和“推理(reasoning)”能力解决问题一样，那么高级人工智能将会出现。具体而言，“感知(Perception)”对应了数据驱动的机器学习过程，而“推理(reasoning)”对应了知识驱动的逻辑推理过程。

因此，越来越多的研究人员将注意力转向“神经”+“符号”的范式，即神经符号计算。丹尼尔在《Thinking Fast and Slow》中将人类的认知系统分解为系统1和系统2，系统1体现直觉、快速、无意识、习惯等，简而言之就是直觉与感知；系统2则体现深思熟虑、逻辑、计划等，即认知。图灵奖得主Bengio在NeurIPS 2019中强调了从系统1到系统2的转换的必要性，但这种结合并不简单。尽管早在上个世纪九十年代就研究人员提出统一的神经符号学习系统，但迄今为止，也没有集合“神经”与“符号”全部优势的智能系统。

目前，“神经”与“符号”的结合有如下几种重要方法，第一类是利用神经网络执行符号推理任务，包括目前流行的图神经网络、图卷积神经网络等。在这类方法中，神经网络基于统计建模从数据中抽象提取出符号，赋予符号对数据噪声的“弹性”并显著减少符号系统的搜索空间，从而加速学习过程。但本质上来说，该类方法中规则被弱化了，即更侧重统计上的推理，而不是逻辑上的演绎推理。

第二类则是将符号知识注入神经网络，利用符号系统来支持神经网络学习过程，同时将符号知识纳入训练。其目的是从知识图谱中推导出一般的逻辑规则，例如损失函数设计、进行一些正则化约束等。

最后一类则是神经网络与符号系统的融合，在该方法中神经系统和符号系统扮演着“平等”的角色，神经系统的输出作为符号系统的输入，符号系统的输出又作为神经系统的输入，在迭代中完成两个系统的信息交互，从而实现更深层次的神经符号系统集成。例如，DeepProbLog引入神经谓词来扩展现有的ProbLog语言，并提出了一种将神经网络和概率逻辑编程相结合的框架，以实现符号和子符号推理、程序归纳、概率逻辑编程等。如下所示：

Luc De Raedt的演讲分享

T1: 加法任务(addition)：训练集由一对图像组成，标签为两个数字的和。DeepProbLog程序包括一个addition(X,Y,Z)的子句，其中X和Y是数字图像，Z是它们的和。此外，还有一个用于分类MNIST图像的神经网络。

T2: 加法任务(addition)的扩展：输入是两个图像列表，每个列表包含一个数字。这个任务展示了DeepProbLog在训练数据之外的泛化能力。只需要对逻辑程序进行小的修改，就可以学习新的谓词。

T3: Forth加法任务：输入是两个数字和一个进位，输出是两个数字的和以及新的进位。

T4: 排序任务(sort)：输入是一个数字列表，输出是排序后的列表。

T5: Word Algebra Problems(WAPs)：输入是描述一个简单数学问题的自然语言句子，输出是问题的解。这些问题包含三个数字，并可以通过链接四个步骤来解决：（1）排列三个数字、（2）对前两个数字应用运算、（3）交换运算中间值与最后数字、（4）对最后两个数字运算。

 DeepProbLog^[3]

DeepProbLog在T3、T4问题上获得了100%的准确率，在T5任务上达到了96%-97%的准确率。

总的来说，尽管很多研究者在神经符号计算上做出了一些努力，初步解决了神经网络的一些事实性错误与可解释性的问题，然而“神经”与“符号”的融合仍然存在不少挑战，仍具有很大的探索空间：

·符号表示学习困难：神经符号网络通常需要学习符号表示，以便能够处理复杂的分类任务。然而，现有的符号表示学习方法往往难以处理具有强相似性的谓词。这些谓词可能具有相似的语义，但具有不同的逻辑公式，例如“next to”和“near”。

·处理复杂问题能力：嵌入的资源、知识表达能力有限，使得现有的神经符号推理模型通常只能回答单关系问题或有限跳数（如三跳关系）的问题，难以处理具有额外约束的问题。

大模型、大数据、多模态背景下的神经符号计算

目前，神经符号计算系统已经在计算机视觉、自然语言处理和推荐系统等领域取得了成功。但随着多媒体和互联网技术的迅猛发展，图像、视频、文本、音频等多模态大数据快速增长，单一模态、少量数据下的简单推理已经无法满足需求，从海量规模、复杂多样的网络空间数据中高效地获取多模态异构信息与知识，是学术界和工业界面临的长期挑战。对于神经符号计算而言，大数据背景下的多模态知识发现其实是一个复杂庞大的工程，因为每种模态的知识都有不同的抽取方法、不同模态的知识还涉及对齐问题以及大数据驱动神经符号系统可靠性与可解释性等。目前GPT-4V展现了强大的推理能力，但也存在不足，包括医学领域可靠性、无根据推断与偏见等，见下图。

 GPT-4V-System-Card

面对神经符号计算技术前沿，本论坛将邀请领域专家学者，全面介绍各类神经符号计算的理论基础、技术前沿与应用场景，聚焦神经符号计算在当前大模型、大数据、多模态背景下的挑战问题，为参会者了解神经符号计算的基本原理、发展脉络与最新前沿，为相关实践者落地神经符号计算的最新应用，搭建一个交流平台。

CNCC参会报名