DeepFloodbeta

[科普]人工智能的前世今生(1)– 70年前便预言了如今AI的发展方向

个人能力有限,如有错误或者遗漏欢迎批评指正!


引言:机器能思考吗?[1, 2]

从人类工业革命后,无数人反复问过这个问题,并创作了许多天马行空的科幻小说。直到1950 年,图灵在《Mind》提出了检验机器是否具有人类的智能水平的方法,把“机器能思考吗?”从形而上之争推进为可操作的科学问题 。此前,麦卡洛克与皮茨以阈值逻辑元神经元网络,证明“输入求和—阈值激活”网络能够实现命题逻辑,也为后来的“神经网络”提供了抽象的数学雏形 。


1. 达特茅斯会议:预言了如今AI的发展方向[3, 4, 5]

image

1955 年 8 月 31 日,约翰·麦卡锡、马文·闵斯基、内森尼尔·罗切斯特与克劳德·香农联合提交《达特茅斯夏季人工智能研究计划》建议书,此建议书首次系统使用“Artificial Intelligence”一词;1956 年夏天,研讨会在新罕布什尔州汉诺威的达特茅斯学院举行。这份建议书和这次研讨会通常被视为 AI 作为独立学科的奠基事件。

“该研究将基于如下猜想而展开:学习的每一个方面,或智能的任何其他特征,原则上都可以如此精确地描述,以至于可以由一台机器加以模拟。”——《达特茅斯建议书》(1955)

在当时,计算机发展刚处于起步阶段。但众位大佬们就已经提出了通过机器来模拟人脑智能行为的设想。

建议书的七个研究议题

  1. Automatic Computers(自动计算机):主要障碍并非机器算力或容量,而是我们尚不能编写充分利用现有能力的程序。
  2. How Can a Computer be Programmed to Use a Language(如何让计算机使用语言):人类思维在相当程度上以依据推理与猜测的规则操纵词语为特征。
  3. Neuron Nets(神经元网络):探究如何排列(假设的)神经元以形成概念,延续麦卡洛克—皮茨等早期工作。
  4. Theory of the Size of a Calculation(计算规模理论):需要关于计算规模/复杂度的理论,以避免“穷举尝试”的低效求解。
  5. Self-Improvement(自我改进):真正智能的机器可能执行可描述为自我改进的活动。
  6. Abstractions(抽象):使机器从感官或其他数据中形成抽象概念的方法值得重点研究。
  7. Randomness and Creativity(随机性与创造力):创造性思维与平庸思维的差别,或许在于引入受直觉引导的随机性。

上述七项议题几乎预言了此后 AI 的发展方向:语言(NLP/LLM)、学习与表示(神经网络与表示学习)、算法与复杂性(搜索/约束/优化)、以及自适应/自改进与创造性等。

会后数年,MIT 与斯坦福迅速形成研究据点:1959 年,闵斯基与麦卡锡在 MIT 发起“AI Project”(后发展为 CSAIL);1963 年,麦卡锡在斯坦福创立 SAIL;与此同时,麦卡锡设计的 LISP成为 AI 研究的支柱语言。


2. AI的工程实现方法:符号主义与联结主义[3, 4, 5]

智能是什么?简单来说,智能系统可以理解为1个极其复杂的函数。给它一个输入,经过智能系统的处理,它总会输出一个让人满意的输出。

听着是不是有点熟悉?没错,人脑就是一个搞机的智能系统。所以人类的本质就是一个工具,大概。

那么,怎么用机器来模拟智能系统呢?根据智能系统的原理,最简单的方法就是直接构造一个函数。而这个函数的参数决定了智能系统是人工智能还是人工智障。

如何获得这些参数呢?科学家总结了两种方法:

  1. 直接把人类现有的经验写死进参数里,这就是所谓的符号主义。举个例子:

现在某论坛严查灌水行为,我需要一个AI管理自动扣鸭腿和禁言。那么我可以对AI写入以下规则:

凌晨12点后,10分钟内连发4贴,被视为水贴,直接执行处罚。

  1. 前面提到,人脑也是一个智能系统。那么,如果模拟人脑,增加一些定量判断甚至对错误吸取教训的能力。然后把这些能力想办法写入进参数,让AI更加圆滑,这就是联结主义。再以之前的论坛管理AI为例:

如果一个论坛用户是事先写好的4个精华贴,然后在12后一股脑发出,那么原版AI也会直接禁言。这显然不合理,那么如何改善呢?

定量判断: 灵活修改判定的条件同时增加条件的个数,处罚规则改为:10分钟内连发4贴&字数小于100字;5分钟内连发4贴&字数小于300字;1分钟内连发4贴&字数小于1000字…

对错误吸取教训: 不把参数写死,让AI跟据人类的反馈自动调节参数。即反馈一次错误的处罚后,处罚规则改为:11分钟内连发4贴。如果犯错再次反馈后,处罚规则改为:12分钟内连发4贴。

因此可以发现,符号主义和联结主义的本质是一样的。只是解释不同和参数获取方法有区别而已。

以下是wiki和论文中关于二者的解释:

符号主义(Symbolic AI)

  • 表征:用可读的符号、谓词与规则来表示世界(如 父亲(x,y)、推理规则等)。
  • 推理方式:以演绎/归纳推理 + 搜索/规划为核心(如状态空间搜索、启发式、约束求解)。
  • 学习观:早期重“知识工程”(由专家把知识编码进系统),再由系统执行形式化推理。
  • 优点:结构清晰、可解释性强、适合明确规则和证明类问题。
  • 短板:面向噪声/连续感知数据较弱,复杂组合空间易发生搜索爆炸。

联结主义(Connectionism)

  • 表征:以大量简单“类神经元”的分布式权重与激活来编码知识。
  • 学习方式:从数据出发,依据误差信号自动调整权重(早期有感知机/ADALINE,后续发展出多层网络与梯度下降家族)。
  • 优点:善于模式识别与噪声容忍,可直接利用感知类数据(图像/语音)。
  • 短板:早期可解释性不足;在欠缺层数/算法/算力时,表达能力受限。
维度 符号主义(Symbolic AI) 联结主义(Connectionism)
表征 显式符号、逻辑谓词、规则库 分布式向量、权重矩阵、激活模式
核心方法 逻辑推理、规则系统、搜索/规划、约束满足 感知机/ADALINE、(后来的)多层网络、梯度下降
代表系统 逻辑理论家(1956)、GPS(1959/63)、SHRDLU(1970) Mark I Perceptron(1958)、ADALINE/MADALINE(1960)
优势 可解释、可验证、知识可注入 从数据学习、抗噪声、擅长感知任务
局限 对感知与不确定性处理不佳、易组合爆炸 早期训练困难、可解释性弱、单层表达力有限
典型任务 定理证明、谜题求解、规划/搜索 图形/语音识别、信号处理、分类

3. 首次成功的工程实践:感知机[6, 7, 8, 9, 10]

基于符号主义和联结主义,人类开始了对建造“会思考的机器”的探索。Newell和Simon的通用问题求解器(GPS),能够初步实现部分智能的功能。直至感知机的问世,开始了历史上第一次对AI研究的热潮。

image

理论基础

1958年,心理学家弗兰克·罗森布拉特发表的论文中,把“输入特征加权求和—阈值判定”的神经元视作可学习的分类器,提出了感知机与“神经动力学”的理论体系,同时解释了感知机的基本工作原理和训练方式。1962年诺维科夫给出了著名的感知机收敛定理:若数据线性可分,算法在有限步内必然找到分离超平面。

原型机问世

image

1959年,罗森布拉特基于IBM 704与光敏阵列等部件构建“Mark I 感知机”,能在训练后区分左右、识别简单图形。美国海军与媒体把它称作“会学习的电子大脑”,其中《纽约时报》更是发表了篇文章报道:“New Navy Device Learns by Doing”。

当时的感知机已经能够实现简单的图像识别,极大影响了后续AI的发展。


4. 第一波AI低潮:原理局限与硬件限制[11, 12, 13]

底层原理的局限

单层感知机的决策边界是线性的,因此对非线性可分的模式无能为力(如异或逻辑、棋盘格)。简单来说,就是参数之间的逻辑还是太简单了,(1, 0)和(0, 1)在这种结构下被当作一回事。

1969年,图灵奖得主闵斯基在《Perceptrons》中彻底否定了联结主义,同时指出:若要突破,需要多层结构与合适的训练算法/非线性。

其它因素

研究热度的回落并非只因一本书:受限于当时的算力与数据、学术圈内部的研究路径分歧,以及资助机构偏好的变化,神经网络方向的资源显著收缩。英国的莱特希尔报告(1973)对当时 AI 的可行性提出严厉质疑,直接影响科研经费与学术氛围;社会学研究也把“感知机之争”界定为一个AI行业的标志性事件。


5. 总结(1955-1973) [3, 4, 5, 6, 11]

AI概念提出后的十余年间。从达特茅斯的建议书到神经网络被骂为骗子,人们认识到实现真正AI的道阻且长。

然而一些研究者没有放弃。与感知机几乎同时,维德罗与霍夫提出 ADALINE/MADALINE 与 LMS(最小均方) 自适应算法,在信号处理与自适应滤波中取得成功。

这个理论后来与反向传播、梯度下降等统一到更广义的机器学习框架之中 。为后来新的AI发展道路埋下伏笔。


推荐资料

  • Meditation Math, https://www.youtube.com/watch?v=LF9sd-2jCoY. 本文很多内容来源此大佬的视频。

  • Nilsson, N. J. The Quest for Artificial Intelligence。

  • 闵斯基与帕佩特《Perceptrons》,宣判感知机死刑的著作。


参考文献

  1. Turing, A. M. (1950). Computing Machinery and Intelligence. Mind, 59(236), 433–460
  2. McCulloch, W. S., & Pitts, W. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity. The Bulletin of Mathematical Biophysics.
  3. McCarthy, J., Minsky, M. L., Rochester, N., & Shannon, C. E. (1955/2006). A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.
  4. John McCarthy’s AI history page(Stanford):Dartmouth proposal & early
  5. Dartmouth College. Artificial Intelligence Coined at Dartmouth
  6. Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychologic
  7. Rosenblatt, F. (1962). Principles of Neurodynamics.
  8. Novikoff, A. (1962/1963). On Convergence Proofs for Perceptrons.
  9. National Museum of American History(Smithsonian). *Electronic Neural Network, Mark I Perceptron
  10. The New York Times (1958). *New Navy Device Learns by Doing
  11. Minsky, M., & Papert, S. (1969/1988). Perceptrons.
  12. Lighthill, J. (1973). Artificial Intelligence: A General Survey
  13. Olazaran, M. (1996). A Sociological Study of the Official History of the Perceptrons Controversy.
12
  • 试试大家对这种比较枯燥的内容感不感兴趣

  • 不感兴趣

  • @pretty #2

    哈哈,确实。大部分人只要知道怎么用就行了

  • @RyanVan #3 不,人的寿命太短,只会在意自己感兴趣的东西,愿意花更多的时间,或者一辈子研究

  • 哇哦,这么多注脚的文章,学院派

    虽然今天各种大模型及深度学习的科研进展层出不穷,可当前AI在相当一段时间内,连研究(浅层)神经网络的都是相当小众的一股学术支流。幸好对幻想的坚持没有被扑灭,而是随着机器性能的节节攀升一步一步的见证预言。

  • @酒神 #5

    是啊,我也认为这次AI革命是计算机性能发展的量变引发的质变

  • 这是科普历史@RyanVan #1 没意义,而且这玩意还不是普通历史 不好和别人吹牛

  • 看不懂,但支持大佬

  • 不错,很全面,建议右转中国科学技术大学就读他的科技史研究生

12

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有13522位用户

🎉欢迎新用户🎉