从贾扬清和吴飞交谈中认识深度学习的发展

2021年中国人工智能学会牵头发起全球人工智能技术创新大赛，并举办了「AI 青年说」，浙江大学求是特聘教授、博士生导师吴飞老师和阿里巴巴集团副总裁贾扬清老师面向「人工智能技术和产业发展的趋势」做了一次讨论。

为了便于数字孪生体挑战赛参赛团队了解深度学习的情况，从贾杨清和吴飞的交谈内容中选出相关内容，发布在数字孪生体挑战赛公众号。

开发Caffe的贾杨清对自己进入深度学习领域的经历进行了回顾：

2006 年的时候， Geoffrey Hinton 在《Science》发表了一篇讲受限玻尔兹曼机（restricted Boltzmann machine）的文章，我开始对人工神经网络等基础理论以及大规模训练产生兴趣。我是 2009 年去了加州大学伯克利分校，也有幸跟吴老师在伯克利相处了一年多的时间。

攻读博士期间，我们发现神经网络、深度学习的方法变得越来越重要，我们最开始从稀疏编码（Sparse Coding）等方面入手，构建一系列的软件栈以及相应的科学研究，来把基于深度学习的算法做得越来越好。

2012 年，AlexNet 的出现让全世界都突然意识到深度学习的重要，在此之前，2010 年左右，在语音领域 RNN 等方法已经开始被应用起来。当时我发现大家都在纷纷涌向深度学习算法，相应的软件工具平台却比较匮乏的，所以我们在伯克利就开始做 Caffe 以及后来一系列的深度学习框架。

在接下来的几年，我们见证了深度学习算法的大规模应用，无论是算法创新方面，还是方法的落地方面，都开始有了非常大的市场。

这些领域经历了从 0 到 1 的过程。在 2012 年以前，要做一个计算机视觉的识别系统，基本上就要去读一个博士，才能做出来，而且效果还不一定好。今天我们发现，从 0 到 1 的积累差不多已经完成了，或者说已经比较成熟。因此我觉得这些方法的标准化和应用化会变成大趋势。

今天如果我想做一个无人驾驶的 demo，就并不需要去学计算机视觉的博士。因为今天有非常多开源的模型，让我们能够非常迅速地把算法能力给补齐。算法的标准化、工程化，以及怎样迅速地把标准算法和特定的业务场景结合起来，是我们今天在计算机视觉、语音、自然语言理解等领域的大趋势。

当然科研还在继续往前走，我们在寻找新的高精尖方向。但同时我认为，怎样把现有结果大规模应用到不同场景中去，是一个非常大的趋势。

另外，我们会发现，以前单纯的垂直场景，比如像计算机视觉、语音、自然语言处理等已经开始逐渐融合，变得共通，这就需要用到大规模、多模态模型。如我们所见，谷歌、OpenAI、DeepMind 等公司都在这方面做出非常多的探索。

前段时间 OpenAI 推出 GPT-3 模型，这带来的启发是：我们需要有一个通用、多模态的模型，来统一理解各种形态的数据和各种形态的输入。

我觉得这代表了另外一个趋势。一方面是现有结果的工程化和规模化，另一方面是各子领域之间的相互贯通，以及做到更加深入、更加本质的理解。

吴飞：我补充一下，有两个方向的趋势值得关注。第一个是从 0 到 1，按照朱松纯教授的说法，现在的机器智能是「大数据小任务」，比如 GPT-3 有 1750 亿的参数，并且使用上千 GB 的训练数据把它训练出来。但如何让人工智能或机器智能具有人脑小样本学习的能力、动物的直觉能力以及举一反三的能力，这是我们面临的巨大挑战。

第二个我觉得是从 1 到 N，人工智能已经是一门使能技术。就像我们徐匡迪院士所言，「人工智能需要数学家参与进来。」

人工智能取得突破性的领域方向，一定是从脑科学、材料学等领域得到了启发，所以 AI 接下来的突破，一定是基于大数据、多学科交叉下的领域突破。

贾扬清：我也补充一点。今天的人工智能系统，特别是在感知领域，无论是计算机视觉还是语音，都存在一种 「一揽子买卖」 的状态。例如有一个输入和一个输出，标注是人或者车，这就是一个所谓的 一次性过程，目标集有时是手工指定的。

怎样从单点的目标或者单点的预测到更加完整的知识体系，即所谓的大知识。正如吴老师刚提到的大数据小任务，大数据大知识是我们今天需要打通的一件事情：在简单标签的基础上再构建一个知识体系，无论是逻辑关系还是其他关系。

传统的专家系统，更多的是通过人工手写的方式来做的，很难规模化。传统的机器学习方法还是小任务单点预测的状态。怎样能够让机器学习系统更加自动、规模化地生成结构化的知识和结构化的体系，我觉得，在接下来几年，这方面可能产生最大的突破，或者至少是需求最大的方面。

同时它也引出了另外一点，就是吴老师刚才提到的：人工智能怎样赋能行业，例如制药业的数据是非常少的，对于逻辑推理和知识抽象的要求非常高。因为它没有办法像图像识别一样能使用几百万张图片作为数据。

简而言之，未来有两个趋势：一个是从大数据到大知识，另一个是怎样通过抽象出来的知识体系，来赋能其他领域，以更好地使用 AI 技术。

来源：机器之心报道，有编辑