随着人工智能技术的飞速发展，我们正站在一个全新时代的门槛上。在未来十年，我们有望见证从人类水平的人工智能（AGI）到远超人类智能的超级智能的转变。本文将探讨这一变革背后的技术趋势、潜在的社会影响以及我们必须面对的挑战。
友情链接：ACEJoy
技术进步：从AGI到超级智能
在过去的几年里，人工智能已经从简单的模式识别和数据处理，发展到了能够进行复杂推理和创造的智能系统。根据Leopold Aschenbrenner在《态势感知的未来十年》中的分析，我们正处于一个关键的转折点，AGI的实现已不再遥不可及。
“到2027年实现AGI是非常可信的。” —— Leopold Aschenbrenner
AI的进步不仅仅局限于模拟人类的智能。事实上，一旦达到人类智能水平，AI将能够自我改进，引发所谓的“智能爆炸”。这将使得AI的能力在极短的时间内得到指数级的提升，从而迅速超越人类智能。
社会影响：经济与军事的重塑
超级智能的出现将对全球经济和军事格局产生深远的影响。拥有超级智能的国家将获得前所未有的科技优势，从而在国际竞争中占据主导地位。这不仅意味着技术上的突破，还可能引发全新的军事革命。
“超级智能将带来决定性的经济和军事优势。” —— 同上
然而，这种优势也伴随着巨大的风险。如果超级智能落入不负责任的手中，或者在国际竞争中失去控制，其后果将是灾难性的。
挑战与应对：确保安全与伦理
面对超级智能的挑战，我们必须确保技术的发展方向符合人类的长远利益。这包括建立严格的安全协议，防止AI的滥用，并确保技术的伦理使用。
Leopold Aschenbrenner强调了在AI研究中加强安全意识的重要性，并提出了一系列应对策略，包括技术监控、算法透明度以及国际合作。
“确保AGI的机密和权重免受国家行为者的威胁将是一项巨大的努力，我们还没有走上正轨。” —— 同上
此外，超级智能的发展也需要全球性的法律和伦理框架，以确保所有国家都能在公平和安全的基础上参与竞争。
结语：未来已来
未来十年，我们将面临前所未有的挑战和机遇。超级智能的实现不仅将重塑我们的世界，还将重新定义人类在宇宙中的地位。现在，正是我们采取行动，为这一变革做好准备的时刻。
参考文献：
- Aschenbrenner, L. (JUNE 2024). 态势感知的未来十年.
现在似乎很多人都在向下定义AGI，就像真正优秀的聊天机器
人或其他什么一样。我的意思是，一个AI系统可以完全自动化
我或我朋友的工作，可以完全完成AI研究员或工程师的工作。
也许有些领域，比如机器人，可能需要更长的时间才能默认弄
清楚。而在医疗或法律行业，社会的发展可能很容易被社会选
择或监管放缓。但是一旦模型可以自动化AI研究本身，这就足
够了——足以启动强烈的反馈循环——我们可以很快取得进一步
的进展，自动化AI工程师自己解决所有剩余的瓶颈，使一切完
全自动化。特别是，数百万自动化研究人员可以非常合理地将
十年的进一步算法进展压缩为一年或更短的时间。AGI仅仅是
即将到来的超级智能的一小部分。
和之前的每一代一样，每一代新一代的模特都会让大
多数旁观者目瞪口呆;很快，当模型解决了博士们需要几天时
间才能解决的难以置信的科学难题时，当他们在你的电脑上
快速运行完成你的工作时，当他们从头开始编写数百万行代
码的代码库时，当这些模型产生的经济价值每隔一两年就会
10xs时，他们会感到难以置信。
硬件收益:AI硬件的发展速度比摩尔定律快得多。这是因
为我们一直在专门为AI工作负载设计芯片。例如，我们
已经从cpu转向gpu;为变形金刚改编芯片;我们还降低了很
多精度的数字格式，从传统超级计算的fp64/fp32到
h1000s上的fp8。这些都是很大的进步，但到本十年结束
时，我们可能会拥有完全专业化的人工智能专用芯片，
而不可能进一步超越摩尔定律。
算法进步:未来十年，AI实验室将投入数百亿美元用于算
法研发，世界上所有最聪明的人都将致力于此;从微小的
效率到新范式，我们将采摘许多唾手可得的果实。
AI的进步不会止步于人类水平。数以亿计的agi可以实现AI研
究的自动化，将十年的算法进步(超过5个oom)压缩到一年。我
们将很快从人类水平发展到超级人类的AI系统。超级智能的力
量和危险将是戏剧性的。
让我们把超级智能机器定义为一种机器，它可以远远超过任何
聪明的人的所有智力活动。由于机器的设计是这些智力活动之
一，一个超级智能的机器可以设计出更好的机器;届时毫无疑问
会出现“智能爆炸”，人类的智能将远远落后。因此，第一台
超级智能机器是人类需要制造的最后一项发明。
我们不需要把一切都自动化——只需要AI研究。对于人
工智能的变革性影响，一个常见的反对意见是，AI很难
做所有的事情。以机器人为例，怀疑者说;这将是一个棘
手的问题，即使AI的认知水平达到了博士的水平。或者
以自动化生物研发为例，这可能需要大量的物理实验室
工作和人体实验。
我们将能够运行数百万个自动AI研究人员的副本(很快就
会以10倍于人类的速度运行)。即使到2027年，我们也可以
预计GPU舰队数量将达到1000万。仅训练集群就应该接近3
OOMs，已经使我们达到1000万+ a100当量。推理机群应该
还要大得多。
对于自动化AI研究，我们不需要假设任何全
新的东西来极大地加速AI的进步。浏览上一篇文章中的数字，
我们看到在过去十年中，算法进步一直是深度学习进步的核
心驱动力;我们注意到，仅算法效率的趋势线就达到了每年约
0.5 oom，而在此基础上，还可以获得更多的算法收益。(我
认为很多人低估了算法进步的重要性，正确认识算法进步对
于认识智能爆炸的可能性很重要。)
互补性/长尾:经济学的一个经典教训是，如果你可以自动化
某件事的70%，你会获得一些收益，但很快剩下的30%就会
成为你的瓶颈。对于任何不完全自动化的事情，比如，真正
优秀的副驾驶，人类AI研究人员仍然是一个主要的瓶颈，使
得算法速度的总体增长速度相对较小。此外，自动化AI研究
可能需要一些长尾功能——AI研究人员的最后10%的工作可
能特别难以自动化。这可能会减缓一些起飞，尽管我的最佳
猜测是，这只是将事情推迟几年。也许2026/27模型的速度是
自动化研究的原型，需要再花一两年时间来最终解决一些问
题，一个更好的模型，推理速度加快，解决问题才能实现完
全自动化，最终到2028年，我们将获得10倍的加速(并在这十
年结束时实现超级智能)。
https://www.dreamlink.cloud/explorer?cid=Qme34RoupuP1EANbdx3QEoSMUn7o1mXHMhVQvVw6kgsmEE&name=%E3%80%8A%E6%80%81%E5%8A%BF%E6%84%9F%E7%9F%A5%E7%9A%84%E6%9C%AA%E6%9D%A5%E5%8D%81%E5%B9%B4%E3%80%8Bsituationalawareness.pdf
在这里，我要花一点时间来承认我听到的可能是最具说服
力的反驳论点，由我的朋友James Bradbury提出:如果更多
的ML研究工作可以如此显著地加速进展，为什么目前至
少有数万人的学术ML研究社区没有为前沿实验室的进展
做出更多贡献?(目前，似乎是实验室内部的团队，跨实验
室总共可能有1000个团队，承担了前沿算法进展的大部分
负载。)他的论点是，原因是算法的进步受到了计算的瓶颈:
学术界没有足够的计算能力。
•提供决定性和压倒性的军事优势。在这里，甚至早期的认
知超级智能可能就足够了;也许某种超人的黑客方案可以
让对手的军队失去战斗力。无论如何，军事力量和技术
进步在历史上是紧密联系在一起的，伴随着异常快速的
技术进步，将伴随着军事革命。无人机蜂群和机器人军
队将是一件大事，但这仅仅是个开始;我们应该期待全新
种类的武器，从新型大规模杀伤性武器到刀枪不入的激
光导弹防御系统，再到我们还无法理解的东西。与超级
智能出现之前的武器库相比，这将像是21世纪的军队与
19世纪的马和刺刀旅的战斗。
最非凡的科技资本加速已经启动。随着AI收入的快速增长，在
本十年结束之前，数万亿美元将投入GPU、数据中心和电力建
设。工业动员，包括美国电力生产增长10%，将是激烈的。
AGI的竞赛将不仅仅在代码和笔记本电脑背后展开，它将是一
场动员美国工业力量的竞赛。与我们最近在硅谷看到的其他
任何东西不同，AI是一个巨大的工业过程:每个新模型都需要
一个巨大的新集群，很快就需要一个巨大的新发电厂，最终
需要一个巨大的新芯片制造厂。所涉及的投资是惊人的。但
在幕后，它们已经开始行动了。
到本世纪末，我们将朝着1万亿美元以上的单个培训集群迈进，
所需电力相当于美国发电量的>的20%。每年数万亿美元的资
本支出将生产出上亿颗gpu。
扎克伯格购买了35
万辆h100。亚马逊在核电站旁边购买了一个1GW的数据中
心园区。有传言称科威特正在建造一个1GW, 140万h100等
效的集群(~2026集群)。据媒体报道，有传言称微软和
OpenAI正在开发一个耗资100B美元的集群，计划于2028年
投入使用(成本与国际空间站相当!)而随着每一代模型震惊世
界，进一步的加速可能还在等待中。
到目前为止，AI投资每扩大10倍，似乎就会产生必要的回报。
GPT-3.5掀起了ChatGPT狂潮。GPT-4集群估计5亿美元的成本
将被微软和OpenAI报告的数十亿美元年收入所支付(见上文计
算)，如果微软/OpenAI人工智能收入继续保持在10B以上的轨
道上，那么数十亿美元的“2024级”训练集群将很容易获得
回报。这种繁荣是由投资带动的:从大量gpu订单到构建集群、
构建模型，再到推广，都需要时间，而今天正在规划的集群
已经是很多年以后的事情了。但如果上一个GPU订单的回报
继续物质化，投资将继续飙升(并超过收入)，投入更多的资本，
押注未来10倍的回报将持续。
最近美国政府的努力，如《芯片法案》，一直试图将更多的
AI芯片生产转移到美国(作为万一发生意外事件的保险)。
虽然将更多的AI芯片生产转移到美国是件好事，但它不如在
美国拥有实际的数据中心(AGI的基础)那么重要。如果说在国
外生产芯片就像在国外拥有铀矿，那么在国外拥有AGI数据中
心就像在国外建造和储存核武器。考
正如在计算OOMs中所讨论的，算法的进步可能与将计算
扩展到AI的进步同样重要。考虑到每年约0.5个OOMs的计
算效率的基线趋势(加上额外的算法“无阻碍”收益)，我
们应该期待从现在到AGI之间有多个OOMs价值的算法秘
密。默认情况下，我预计美国实验室将领先数年;如果他们
能保护好自己的秘密，这很容易抵得上10x-100x的计算
量。
也许更重要的是，我们现在可能正在为AGI开发关键的
范式突破。如前所述，简单地扩大当前模型将会碰壁:数
据墙。即使计算量大大增加，也不可能做出更好的模型。
前沿的AI实验室正全力以赴地研究从强化学习到合成数
据的未来趋势。他们可能会想出一些疯狂的东西——本质
上是“AlphaGo自玩”——相当于一般智能。
很容易低估边缘算法秘密的重要性，因为直到几年前，所
有的东西都已经发布了。基本的想法是:在互联网文本上扩
大transformer的规模。很多算法细节和效率都已经出来了:
栗鼠缩放定律、MoE等等。因此，现在的开源模型已经相
当不错了，一堆公司也有了相当不错的模型(主要取决于他
们筹集了多少美元以及他们的集群有多大)。但在接下来的
几年里，这可能会发生相当大的变化。这些天，基本上所
有前沿算法的进展都发生在实验室(学术界令人惊讶地不相
关)，领先的实验室已经停止发表他们的进展。我们应该期
待未来会出现更大的分歧:实验室之间，国家之间，专有前
沿和开源模型之间。少数美国实验室将遥遥领先——一条
价值10倍、100倍甚至更多的护城河，比7纳米和3纳米芯片
的价值要高得多——除非他们立即泄露了算法机密。
现在的算法秘密安全有多糟糕，怎么说都不为过。在实验室
之间，有成千上万的人可以接触到最重要的秘密;基本没有背
景调查、隔离、控制、基本信息安全等。东西都存储在容易
被黑客攻击的SaaS服务上。人们在SF的聚会上闲聊。任何人，
脑子里装着所有的秘密，都可能被提供1亿美元，在任何时
候被招募到外国实验室。
实际上，我从朋友那里听说，字节跳
动公司给几乎所有出现在谷歌双子座
论文上的人都发了电子邮件，邀请他
们加入，给他们提供L8(一个非常高级
的职位，大概也有同样高的薪水)，并
说他们将直接向字节跳动公司美国的
首席技术官汇报。
当少数人第一次明白原子弹是有可能制造出来的时候，保密
也可能是最具争议的问题。1939年和1940年，利奥·西拉德
以“裂变问题保密的主要倡导者”而闻名于整个美国物理界。
79但他被大多数人拒绝了;保密根本不是科学家们所习惯的，
而且这也违背了他们对开放科学的许多基本本能。但必须要
做的事情慢慢变得清晰起来:这项研究的军事潜力太大，不
能简单地与纳粹自由分享。保密终于被强制实施了，而且是
及时的。
1940年秋，费米完成了对石墨碳吸收的新测量，表明石墨是
一种可行的原子弹慢化剂。西拉德对费米发起了另一项保密
呼吁。“这个时候，费米真的发脾气了;他真的认为这很荒
谬，”西拉德回忆道。幸运的是，进一步的呼吁最终成功了，
费米不情愿地没有发表他的石墨结果。
可靠地控制比我们聪明得多的AI系统是一个尚未解决的技术
问题。虽然这是一个可以解决的问题，但在快速的智能爆炸
期间，事情很容易失控。处理这个问题会非常紧张;失败很可
能是灾难性的。
我最担心的是超级智能周围完全疯狂
的事情，包括新型大规模杀伤性武器、
破坏性战争和未知的未知。此外，我认
为历史的轨迹告诉我们不要低估威权主
义——超级智能可能会让威权主义统治
数十亿年。
想想:“我们在测试中发现AI系统做了一些调皮的事情，
但我们调整了一下程序来解决这个问题。我们的自动
化AI研究人员告诉我们，对齐指标看起来不错，但我
们并不真正了解发生了什么，也不完全相信他们，我
们没有任何强有力的科学理解，使我们相信这种情况
将继续持续几个千年。所以，我们可能会没事吧?而且
美国刚刚偷了我们的权重，他们正在发起自己的智能
爆炸，他们紧跟我们的步伐。”
一旦我们接近真正的超级智能，风
险就会变得非常真实，失败——流氓人工智能——可能是灾
难性的。会有一些证据模糊的时刻，指标表面上看起来还
好，但有一些警告信号暗示着隐约的危险，我们基本上对
发生了什么没有线索了。负责地处理这种情况将需要做出
非常昂贵的权衡。最终，批准下一代超级智能的决定将需
要像发动军事行动的决定一样严肃对待。
人类的故事就是战争。除了短暂而不稳定的间歇，世界上
从来没有过和平;在历史开始之前，凶残的冲突是普遍的，
永无止境的。
华为Ascend 910B似乎每张卡的价格
约为12万元人民币，约合1.7万美元。
这是在SMIC7nm节点上生产的，而性
能与A100相似。h100可能比a100好3倍，
但成本更高(平均售价2- 2.5万美元)，这
表明目前中国同等AI GPU性能的成本
只增加了2-3倍。
一个拥有超级智能力量的独裁者将指挥我们从未见过的集权。除
了能够将他们的意志强加于其他国家之外，他们还可以在国内实
行统治。数百万人工智能控制的机器人执法人员可以管理他们的
民众;大规模监控将过度紧张;忠于独裁者的人工智能可以单独评
估每个公民的异议，先进的近乎完美的谎言检测可以根除任何不
忠行为。
在冷战期间，人类几乎无法避免自我毁灭。从历史的角度来
看，AGI带来的最大生存风险是，它将使我们能够开发出非
凡的大规模死亡新手段。这一次，这些手段甚至可能扩散为
流氓行为者或恐怖分子所利用(特别是在超级情报力量没有得
到充分保护，可能被等国直接窃取的情况下，就
像目前的进程那样)。
我觉得美国政府让一个随机的科幻创业公司开发超级智能
是一个疯狂的主张。想象一下，如果我们让优步即兴发挥，就
能制造出原子弹，那该有多好。
虽然许多人还没有看到AGI的可能性，但最终会形成共识。有
些人，如西拉德，比其他人更早地看到了原子弹的可能性。
他们的警报一开始并没有受到好评;炸弹爆炸的可能性被认为
是遥远的(或者至少，人们认为保守而恰当的做法是淡化这种
可能性)。西拉德热切的保密呼吁遭到了嘲笑和忽视。但随着
越来越多的实证结果的出现，许多最初持怀疑态度的科学家
开始意识到原子弹是可能的。一旦大多数科学家开始相信我
们正处于炸弹的边缘，反过来，政府认为国家安全的紧迫性
太大，于是曼哈顿计划开始了。