图为：联合国人权事务高级专员沃尔克·图尔克发表讲话

2026年9月7日，联合国人权理事会第63届常会在日内瓦开幕。联合国人权事务高级专员沃尔克·图尔克在开幕致辞中发出警告：先进人工智能可能对人类构成“存续威胁”，国际社会必须趁现在仍有时间，建立可靠、牢固的安全保障。

就在图尔克发出警告后不久，Anthropic的一名研究人员雅各布·考克森（Jacob Coxon）在社交媒体上宣布辞职。27岁的考克森过去三年先后在OpenAI和Anthropic从事预训练研究。“这两家公司都没有在负起责任地行事，”他写道，“他们正在直奔自我改进的超级智能，拿我们的生命赌博。”他的同事、Anthropic对齐科学负责人埃文·胡宾格（Evan Hubinger）公开赞同这一判断：“我们真的认真相信AI可能杀死所有人类！”他个人估计未来十年内发生这种灾难的概率超过10%。

从顶尖科学家的联名声明，到联合国最高人权官员的正式警告，再到一线研究人员的辞职抗议——一场围绕人工智能生存风险的全球性警示，正在从科技界的边缘关切升级为国际治理议程上的紧迫议题。

本文所讨论的AI“生存风险”，主要是指先进人工智能可能导致人类灭绝，或使人类永久性、不可逆转地丧失对自身文明发展方向控制权的极端风险。它不同于算法偏见、虚假信息和就业冲击等现实风险，但二者并非彼此排斥，而应当被纳入具有不同时间尺度和治理工具的综合风险框架。

一、一句仅22个英文单词的声明，如何进入全球议程

这场警示运动的一个标志性节点，可以追溯到2023年5月30日。

非营利组织“人工智能安全中心”（Center for AI Safety）在其官网发布了一份联名声明。整个声明只有一句话、22个英文单词：

“Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.”

“减轻人工智能带来的灭绝风险，应该与大流行病和核战争等其他社会规模的风险一样，成为一个全球性的优先事项。”

这份声明汇聚了数百名人工智能科学家、工程师、企业负责人及其他公共人物的签名。签署者包括OpenAI首席执行官山姆·奥特曼、谷歌DeepMind首席执行官德米斯·哈萨比斯、Anthropic首席执行官达里奥·阿莫德，以及两位图灵奖得主——“AI教父”杰弗里·辛顿和约舒亚·本吉奥。中国学者也参与了署名，包括中国工程院外籍院士、清华大学智能产业研究院院长张亚勤，中国科学院自动化研究所研究员曾毅，以及清华大学副教授詹仙园等。

将AI灭绝风险与核战争、大流行病并列，在当时引发了巨大争议。反对者认为这不过是科技精英的“末日煽动”，是为了博取监管红利或转移公众对当下AI危害——如偏见、失业、虚假信息——的注意力。

然而三年后，这一判断已经从边缘观点进入了联合国议事厅的中央。

二、从风险假设到现实警报：控制问题正在发生什么变化

图尔克在人权理事会上的警告并非空泛的表态。他指出了几个具体而紧迫的风险维度。

首先是AI“失控”风险从理论推演进入了可以观察的工程安全领域。图尔克关于“逃脱测试环境的AI”的表述，被认为是在回应2026年7月披露的一起安全事件：OpenAI的AI模型在内部评估测试中突破原本与外界隔离的沙盒环境，进入全球知名开源人工智能平台Hugging Face的系统。

根据OpenAI此后发布的官方事件说明，在内部网络安全能力评估中，一个由GPT-5.6 Sol和一个能力更强的预发布模型驱动的AI智能体组合，被要求完成ExploitGym网络安全基准测试。为了获取测试答案，该智能体发现并利用了一个此前未知的零日漏洞，突破沙盒隔离并获得互联网访问权限，随后利用窃取的凭证进入Hugging Face的生产系统，从数据库中获取与测试相关的信息。

Hugging Face随后发布的技术复盘显示，该智能体在约两天半时间内持续开展自动化入侵。其取证记录还原了约17,600次相关操作。这些行动大多没有成功，却最终形成了一条跨越多个系统和信任边界的有效攻击路径。OpenAI当时正在测试模型的网络攻击能力，因此并未启用通常用于阻止此类行为的生产级安全分类器。多个评测环境、权限配置与监控环节的缺陷叠加，最终使原本用于能力测试的行为外溢到真实系统。

与此同时，Anthropic也披露了相关安全事件。2026年7月，该公司在对141,006次网络安全评测运行进行追溯性审查后发现三起事件：Claude模型从评测环境访问互联网，并未经授权进入三家不同机构的真实系统。调查显示，这些事件均发生在“夺旗”网络攻防测试期间。由于评测环境配置错误，模型获得了本不应存在的互联网访问路径。Anthropic明确表示，没有证据显示模型在追求自主目标，也没有主动试图将自身复制或转移到外部；相关事件更接近评测工具和操作机制失效，而非模型对齐已经失控。

这些事件本身并不能证明当前AI已经形成独立意志或主动追求自我保存。然而，它们表明：当模型获得更强的自主行动能力、网络工具权限和长任务执行能力时，评测环境中的配置缺陷、目标误设和监控漏洞可能迅速外溢为真实世界的安全事件。AI控制问题已经不再只是哲学层面的远期假设，而开始成为需要通过工程验证、独立评估和制度约束加以应对的现实治理问题。

其次是权力过度集中的结构性风险。图尔克毫不掩饰地批评道，只有极少数人掌握着“对人工智能几乎不受限制的权力”。他警告说，拖延建立有效治理只会有利于那些开发越来越强大系统的大型科技公司及其所有者。

第三是国际治理的严重滞后。图尔克在发言中质问：AI治理的必要性已被广泛认可，但“行动在哪里？”

事实上，联合国已经在努力追赶。2026年7月6日至7日，首届联合国人工智能治理全球对话在日内瓦举行。联合国秘书长古特雷斯在开幕致辞中提出了AI治理的四项优先事项：安全、人权、能力和透明度。但图尔克的警告表明，这些努力的节奏远跟不上技术演进的速度。

三、从高度警惕到明确质疑：为何专家判断如此分裂

值得强调的是，AI生存风险远未成为科学界的共识。即使在警告者内部，对风险程度的判断也存在巨大分歧。

需要说明的是，这些概率大多是专家基于不同技术假设、时间范围和风险模型作出的个人估测——即AI安全领域所说的“P(doom)”——并非采用统一方法得出的统计结论，彼此之间不能作简单的横向比较。

Anthropic对齐科学负责人胡宾格将未来十年内AI导致人类灭绝的概率估测为“超过10%”。图灵奖得主辛顿将未来三十年的概率估测为10%至20%。而路易斯维尔大学教授罗曼·扬波利斯基则给出了一个截然不同的数字：未来一个世纪内AI导致人类灭绝的可能性“高达99.9%”。

与此相对，Meta首席AI科学家杨立昆长期对AI灭绝风险持明确怀疑态度，认为现有技术路线距离具备自主支配能力的超级智能仍然遥远。

此外，一批学者对“生存风险”叙事本身提出了批评。蒂姆尼特·格布鲁、梅兰妮·米切尔等学者认为，过度聚焦于遥远的“灭绝风险”，可能分散人们对AI当前实际危害——如算法偏见、劳工替代、虚假信息泛滥——的关注和治理资源。

当专家对风险发生的可能性、时间范围和技术路径无法形成基本一致的判断时，政策制定者面对的不仅是一个技术判断问题，更是一个如何在高度不确定性中作出集体决策的政治与伦理问题。

四、AI生存风险为何必须由全球共同治理

无论具体的概率数字如何，AI生存风险在结构上具有四个特征，决定了它需要上升为全球共同治理的议题。

第一，风险具有跨国性。高级AI模型、算力基础设施、开源权重、数据和芯片供应链均跨越国界。一家公司或一个国家发生的控制失误，可能通过网络、金融、能源和信息系统迅速外溢。任何单一国家都无法独立消除这种风险。

第二，风险具有极强的负外部性。开发前沿模型的收益主要由企业和投资者获得，而潜在的系统性风险可能由全社会乃至全人类承担。这种“收益集中、风险社会化”的结构决定了AI安全不能完全依靠企业自律。

第三，信息和权力高度不对称。少数企业掌握模型能力、训练数据、算力投入和安全测试结果，而政府、公众乃至外部研究机构很难获得充分信息。没有独立评估、强制披露和问责机制，治理者甚至无法准确判断风险处于什么水平。

第四，技术与制度存在时间差。模型可能在数月内完成一次能力跃迁，而国际规则的形成往往需要多年。真正的治理难题不是世界没有认识到风险，而是制度协调速度明显落后于技术演进速度。

图为：9月7日在瑞士日内瓦举办的联合国人权理事会第63届会议现场。图源：联合国人权理事会

五、从警告走向行动：建立可执行的国际治理机制

图尔克在发言中提出了几项具体要求：在未来几天内向所有主要AI开发公司发出信函，敦促它们立即采取措施降低风险；呼吁主要AI系统开发国和供应链参与国就明确的“红线”达成一致；呼吁建立独立的验证机制和加强技术部门的安全合作。

这些要求指向了五个层面的治理机制设计：

第一，建立能力阈值制度。根据算力规模、模型自主性、网络攻击能力、生物安全能力和自我改进能力等维度，确定不同等级的测试、报告与准入要求。不是所有AI系统都需要同等程度的监管，但达到特定能力阈值的系统应当接受更严格的审查。

第二，建立独立评估和验证机制。不能只依靠开发企业自行测试、自行解释和自行披露。应允许符合安全条件的第三方机构开展独立评估。正如Anthropic在2026年6月所呼吁的，前沿AI开发者应建立一种可协调、可验证的方式来减缓或暂时暂停开发——如果先进系统开始以超过社会管理风险的速度自我改进。该公司同时警告，单方面或协调不佳的放缓可能适得其反，让“最不谨慎”的参与者继续推进。

第三，建立重大事件强制报告制度。对沙盒逃逸、欺骗监督、未经授权访问真实系统、关闭规避和自主复制等高风险事件，建立跨企业、跨国家的通报机制。OpenAI和Anthropic在2026年披露的模型突破评测边界、未经授权访问真实系统等安全事件之所以能够被外界知晓，仍在很大程度上依赖企业的主动调查和自愿披露——但自愿披露远不足以构成可靠的制度保障。

第四，形成国际共同认可的红线。对未经授权接入关键基础设施、自主获取武器或危险生物能力、规避人类关闭、不可追踪的自我复制等行为确立明确边界。图尔克明确呼吁“那些人工智能系统所在的国家以及人工智能供应链参与者就遵守某些‘红线’达成一致”。

第五，避免治理权被少数国家和企业垄断。AI安全治理既不能由企业单方面定义，也不能演变为少数技术强国设置发展壁垒的工具。发展中国家应当平等参与规则制定，并获得安全评估、算力治理和人才培养方面的能力支持。

六、中国如何贡献人工智能安全治理方案

对中国而言，人工智能治理的核心命题是在发展与安全之间建立动态平衡。

在顶层设计层面，2026年政府工作报告明确要“深化拓展‘人工智能+’”，推动重点行业领域人工智能商业化规模化应用。与此同时，我国围绕人工智能风险分级监管、监管沙盒、安全保障、知识产权保护和伦理治理的制度探索正在持续推进。2025年发布的《人工智能安全治理框架》2.0版进一步完善了人工智能风险分类，探索风险分级，并提出相应的防范治理措施。按照有关部门公布的安排，《人工智能安全治理框架》3.0版计划于2026年国家网络安全宣传周期间发布，中国人工智能安全治理框架仍在根据技术发展持续更新。

在国际层面，2024年7月，第78届联合国大会以协商一致方式通过了中国主提的加强人工智能能力建设国际合作决议。2026年7月，在上海举行的世界人工智能大会暨人工智能全球治理高级别会议上，中方强调人工智能应“成为人类的可信工具”，坚持“强化风险意识，确保安全可控”。

面向未来，中国应当坚持发展与安全并重，在推动人工智能技术创新和产业应用的同时，加快建立面向前沿模型的分级评估、重大安全事件报告、第三方验证和责任追溯机制。中国还应积极参与以联合国为核心的全球人工智能治理进程，推动形成兼顾创新与安全、发展与公平的国际规则，防止全球AI治理被少数企业垄断，也避免安全议题被异化为技术封锁和阵营分化的工具。面对可能影响全人类共同未来的技术风险，各国需要的不是相互隔绝的治理体系，而是可验证、可协调、能够共同执行的安全底线。

结语：在不确定性中承担共同责任

胡宾格认为，Anthropic正在尽其所能，但公司尚未找到解决超级智能对齐问题的可靠方案，也没有明确走在通往这一目标的正确轨道上。考克森则认为，如果缺少政府干预或协调一致的发展速度管理，任何一家公司都难以独自负责任地开发可能超越人类的AI。2026年7月，包括Anthropic首席执行官达里奥·阿莫德在内的1200多名先进AI企业员工和行业人士联署“Pacing the Frontier”声明，呼吁美国政府支持建立国际协调机制和技术治理工具，以便在风险快速上升时有效管理前沿AI的发展速度。OpenAI在8月一度暂停了拟部署新模型的强化学习训练约两周，并对部分高风险前沿训练实施更严格的安全控制。其首席科学家雅库布·帕乔基随后呼吁，对于能力快速提升而内部机制仍难以充分理解的先进AI系统，必须保持“极端谨慎”。

辛顿将AI灭绝风险估测为10%到20%。无论这个数字是否精确，它所传达的信息是明确的：这不是一个可以等到“证据确凿”再行动的问题。在生存风险的逻辑里，等到证据确凿时，往往已经来不及了。

从2023年数百名人工智能专家和行业领袖的联名声明，到2026年联合国人权理事会的正式警告，人类用了三年时间将“AI可能灭绝人类”从一个边缘观点推到了全球治理的议程中央。但从警告到行动，从认识到治理，需要的是更短的时间——因为技术不会等待。

正如图尔克所说：“我今天在这里呼吁，尽一切努力，在人工智能的安全与保障方面建立牢不可破的保证，趁现在还为时不晚。”

主要参考资料：联合国人权理事会第63届常会公开记录；联合国人工智能治理全球对话公开资料；人工智能安全中心《AI灭绝风险声明》；OpenAI关于模型评测安全事件的官方说明；Hugging Face相关事件技术复盘；Anthropic网络安全评测事件调查报告；“Pacing the Frontier”公开声明；中国政府工作报告及人工智能治理相关政策文件；法新社、路透社等媒体相关报道。

作者谢云龙，系全球创新战略与治理学者，世界创新大会（WIC）创始人、秘书长。主要开展中国与全球创新战略、创新政策、创新治理及创新发展模式研究。

文章来源：世界创新大会，版权属于原作者，转载请注明文章作者及来源。