Anthropic即将上市:创始人的AI安全执念与人生轨迹

Anthropic即将上市,这将是全球规模最大的IPO之一。据行业观察,相关报道采访了该公司创始人Dario Amodei的二十多位熟人,而Dario本人拒绝了本次采访。
作为公司创始人,Dario今年43岁,他的人生轨迹中几个关键节点影响了他的方向:2006年父亲因丙肝离世;2007年读完《奇点临近》后,认定奇点会在2040年前后到来;2014年确诊睾丸癌,化疗后完全康复;2020年与OpenAI的Altman决裂,离开后四周便创立了Anthropic。
从父亲去世到Anthropic上市,正好相隔二十年。
受访的朋友和同事提到,Dario的思想源于理性主义和有效利他主义两大体系,两者都相信数学推理能改变人类未来。因此,他坚信AI的危险性极高,必须由和他理念相近的人来研发,要赶在那些不重视安全的人之前造出AI,并将其掌控在自己手中。
他最舍不得时间
Dario对时间的执念最早源于父亲。2006年父亲因丙肝去世,几年后丙肝特效药问世,多数患者可被治愈。那时Dario刚从斯坦福毕业,赴普林斯顿攻读物理博士,父亲去世后,他转向生物物理与计算神经科学,思考如何用技术加速科研进程。
他当时的女友Jade Wang回忆,两人常讨论:“一辈子盯着单一疾病的科学家,和为整个领域打造工具的人,谁的影响更大?”Dario选择后者,并以父亲为例。
2011年他回到斯坦福做博士后研究癌细胞,同时开始服用抗衰老补剂,坚持严格游泳训练,还研究过限制热量摄入(有研究显示该方法能延长实验鼠寿命)。高中越野队队友Nathan Avery说,Dario常强调时间是唯一不可再生的资源。
2014年他确诊睾丸癌,化疗后完全康复,这件事让他对时间的紧迫感更强,同年他加入百度硅谷新成立的AI实验室。
把道德换算成数字
Dario在旧金山Mission区长大,高中就读于当地顶尖公立高中Lowell,课余去加州大学伯克利分校上课。那时他就钻研功利主义,将每个选择的后果折算成数值,选择总和最大的方案。
读大学时(先在加州理工,后转至斯坦福),一次和朋友吃寿司,他吃素却论证螃蟹是无脊椎动物可以食用,朋友反问:“如果有人一直杀鸡,杀到多少只时,杀掉这个人阻止他才合理?”Dario笑称确实存在这个数字。
后来他把这套计算方法用在捐款上。2008年他在经济学家Tyler Cowen的博客上接触到GiveWell,这家机构研究如何让每笔捐款发挥最大作用,他很快成为论坛活跃用户。
2010年他在GiveWell发文,讨论1万美元该捐给哪家机构:候选是成人结核病防治和非洲儿童疫苗接种。他起初认为成年人的死亡影响是婴儿的两到三倍,应选前者,但对比两家执行情况后,最终捐给了疫苗机构。同年他还考虑过从事金融,因为高收入能支持更多捐款。
奇点定在2040年
2007年,24岁的Dario在普林斯顿读博时迷上AI,读完Ray Kurzweil的《奇点临近》后,和高中同学Colin Heckman说,奇点会在2040年前后到来,届时人类可能与机器融合成新的超级智能。Heckman说,Dario从此痴迷AI,认定必须正确研发AI,否则人类将面临灾难。
那几年他常看Accelerating Future和Overcoming Bias博客,讨论AI毁灭人类的风险,还推崇理性主义代表人物Eliezer Yudkowsky。2008年他在给朋友的邮件中称Yudkowsky是思想最深刻的人之一,还拉朋友和妹妹参加Yudkowsky的奇点研究所年会(现名MIRI)。Yudkowsky回复记者称不记得Dario找他要过建议。同一时期Dario还和马斯克通信,考虑过加入SpaceX。
班底来自一栋合租房
Dario和GiveWell创始人Holden Karnofsky往来密切,还为GiveWell Labs的生命科学方向担任顾问(该项目由GiveWell和Facebook联合创始人Dustin Moskovitz夫妇的慈善机构合办)。Karnofsky当时和Daniela交往,两人搬进旧金山的合租房,后来Dario、理论物理学家Jared Kaplan、跟Dario学数学的Chris Olah也住进来。
室友们一起读Yudkowsky的文章,去火人节,有时穿动物装。Anthropic的七位联合创始人里有四位住过这栋房子,其余三位也都在理性主义和有效利他主义圈子待过。Karnofsky2017年和Daniela结婚(婚礼上Dario戴了熊猫头套),2025年加入Anthropic。
在OpenAI争控制权
从百度开始,Dario就以爱争论闻名。百度实验室由吴恩达坐镇,同事Gregory Diamos记得,Dario几乎逢会必争。2015年他就提醒同事,AI可能很快超过人脑,做AI的公司需重视失控风险。同年他加入Google Brain负责安全,2016年和Olah等人发表论文《AI安全的具体问题》。
之后他加入OpenAI,带领安全团队和缩放定律团队。七位前同事说,他在这里越来越敢表达,想按自己的想法推动公司:
- 2016年特朗普当选三天后,他在内部聊天软件里说,担心美国滑向威权,不愿在这样的国家研究有军事威力的技术;
- 他还说Peter Thiel资助特朗普竞选应受谴责,OpenAI不该收他的钱(后来Thiel的Founders Fund投资了Anthropic);
- 2017年他牵线让Karnofsky的慈善机构给OpenAI捐了3000万美元,Karnofsky随后进入董事会;
- 2018年研究员Joshua Achiam劝Altman别让Dario当首席伦理官,建议请外部专家,Dario当面提高嗓门说没人比自己合适;
- 同年他和Daniela接手GPT项目,尝试让AI在人类指导下学习任务,先让模型接触危险能力再用安全技术检验,成为他一贯做法;
- Greg Brockman想参与GPT,Dario一再对Altman下最后通牒,不把Brockman挡在外面就离职,Altman拒绝了。
2020年12月,兄妹俩和几位同事离开OpenAI,四周后创立Anthropic。
一切的立场,都有原因
Dario现在的公开主张都和AI风险有关:
- 限制美国对华芯片销售;
- 监管AI防止失控;
- 在和美国国防部的争执中坚持给AI用途划两条线(大规模监控美国人、自主武器);
- 今年9月发文呼吁放慢前沿AI开发速度。
AI安全圈不少人支持他,扎克伯格和黄仁勋则骂他是“末日论者”,说他想把AI权力攥在自己手里。美国国防部9月在社交媒体发文称“美国优先,而非有效利他主义”。
Dario自己和这两个圈子保持距离,2023年上播客时说不算有效利他主义,认同部分想法但反对划分部落。高中越野队队友Avery说,Dario真心认为人类面临巨大生存风险,所以必须站到能做事的位置上。

