近日，27岁的天才创始人Joel Hellermark与“AI教父”Geoffery Hinton进行了一次深度对话。Hinton在采访中回忆了自己的人工智能生涯，讨论了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题，并且聊到了他的得意门生Ilya Sutskever（前段时间离职的OpenAI首席科学家）。
神秘人物：Geoffery Hinton
受访者Hinton是人工智能领域的传奇人物，而采访者Joel Hellermark也颇有背景。他自幼在东京长大，13岁开始编码，14岁创立了一家视频推荐公司。19岁时，他创办了人工智能研究实验室Sana，并在2023年成功筹集了8000万美元的融资。Hellermark坚信学习的力量，因此他没有选择上大学，而是通过斯坦福公开课程自学编程，创办Sana的目标就是“改变教育”。
从研究大脑到编程
开始编程的故事
Hellermark：你是怎么开始编程的？
Hinton：我从英国刚到卡内基梅隆大学的时候。1982年，我前往卡内基梅隆大学担任计算机科学系教授，直至1987年。在英国的研究单位时，每晚六点钟大家都会去酒吧喝一杯。但到了卡内基梅隆几周后，我还没交到多少朋友。所以在某个周六晚上，我决定去实验室编写一些程序，因为实验室里有一台Lisp机器，家里没有。
剑桥时期的回忆
Hellermark：能不能把我们带回剑桥时期，试图理解人脑的经历？
Hinton：非常令人失望。我为了研究大脑，先是去学习生理学，但实际上他们只教了我们神经元如何传导动作电位……这非常有趣，但不是大脑工作的原理。于是我又转向了哲学，因为我以为他们会告诉我心灵是如何运作的，结果也是非常令人失望。最终，我选择到爱丁堡学习人工智能。
影响深远的书籍和导师
关键的启发
Hellermark：你还记得是什么激起了你对人工智能的兴趣吗？
Hinton：是唐纳德·赫布（Donald Hebb）的一本书，里面介绍了如何学习神经网络中的连接强度。早期我还读过约翰·冯·诺伊曼（John von Neumann）的一本书，书里介绍了大脑的计算方式以及大脑计算与普通计算机的区别。
导师和合作伙伴
Hellermark：你还记得以前经历过的合作吗？
Hinton：我在卡内基梅隆大学时曾与泰伦斯·塞诺夫斯基（Terry Sinofsky）有过许多交流，我们共同研究玻尔兹曼机。还有彼得·布朗（Peter Brown），他是一位非常优秀的统计学家，在IBM从事语音识别工作。他启发我采用“隐藏层”这一概念来描述神经网络中的中间层。
凭直觉思考的天才：Ilya Sutskever
初次见面
Hellermark：请带我们回忆你的另一位学生Ilya Sutskever。
Hinton：我当时在办公室编程，突然有人急促地敲门，是Ilya。他告诉我，比起暑期炸薯条的工作，他更渴望能在我的实验室工作。所以我给了他一篇关于反向传播的论文阅读，约定一周后再见面。他回来后说：“我没看懂。”但他的直觉非常敏锐，对事物有独特的看法。
合作与交流
Hellermark：你们俩是如何交流的？你们各自扮演着什么样的角色？
Hinton：非常有趣。我们曾试图用数据制作复杂的地图，Ilya对反复修改代码感到厌烦。一天早上，他告诉我已经搞定了编写接口的工作，这种高效的工作方式让我印象深刻。
规模与创造力：GPT-4的未来
模型的训练与预测
Hellermark：可以为我们科普一下这些模型是如何训练来预测下一个单词的吗？
Hinton：我制作了第一个使用嵌入和反向传播的神经网络语言模型。为了准确预测下一个词，模型必须理解上下文。随着模型规模的扩大，即使没有特别设计用于推理的组件，它们也展现出了推理的能力，并且随着规模继续增长，它们的推理能力也将随之增强。
GPT-4的创造力
Hellermark：你认为AI模型的创造力会如何发展？
Hinton：GPT-4在规模扩大后，将会变得非常有创造力。它的创造力甚至会超过人类，因为它能够在表面上截然不同的事物之间看到类比。
未来的应用与挑战
医疗保健与新材料领域
Hellermark：你认为未来最有前景的应用是什么？
Hinton：我认为医疗保健是一个重要的领域，我们希望AI在这些领域变得更好。还有一个应用是在新工程领域开发新材料，例如太阳能电池板或超导材料。
道德与安全
Hellermark：你是否担心AI的发展会带来负面影响？
Hinton：我确实担心不良分子利用AI做坏事，比如制造杀人机器人、操纵公众舆论、进行大规模监视等。
总结
Hinton和Hellermark的对话中，探讨了许多关于人工智能发展的核心问题。从神经网络的基础研究到大规模模型的应用，再到AI的伦理与安全，每一个话题都引发了深刻的思考。Hinton的智慧和远见，不仅推动了人工智能技术的发展，也为我们理解未来的AI世界提供了宝贵的见解。