在科学界，达成安全可控开发超级智能的广泛共识之前，暂停研发超级智能。“非营利组织”“未来生命研究所”（Future of Life Institute），于10月22日发布声明，超3000名全球知名人士签名，这些知名人士涵盖人工智能科学家、政策制定者、商业领袖及其他社会各界人士，其中包括人工智能先驱杰弗里·辛顿，苹果公司联合创始人史蒂夫·沃兹尼亚克，中国科学院院士、图灵奖得主姚期智，清华大学智能产业研究院院长张亚勤，人工智能伦理与治理专家曾毅等 。
人工智能系统，若具备超级智能，意味着在所有领域，其认知能力将会超越人类。有一联合声明发出警告，人工智能系统一旦超越人类智能，便会带来诸多风险，这些风险包括经济走向崩溃，甚至致使人类走向灭绝 。
关于“人工智能安全中心”（Center for AI Safety）的声明，其图源为每日经济新闻 。
在2023年，也就是人工智能爆发元年，非营利组织“人工智能安全中心”（Center for AI Safety）发布声明，声明仅有22个英文单词，称降低AI可能带来的灭绝风险应成为全球首要任务，如同流行病和核战争等一样，当时OpenAI首席执行官山姆、人工智能先驱杰弗里·辛顿、微软首席技术官凯文·斯科特等数百名AI行业领军人物、学者等共同签署了这份声明。
也是在这一年，出于对AI的担忧，1000多名人工智能专家，签署了一份公开信，呼吁人类暂停开发更强大的人工智能至少6个月，这些专家包括马斯克、斯蒂夫·沃兹尼亚克，还有行业高管。
这几年里，AI引发的问题跟风险时不时就出现，这是事实。想起英国那起深度伪造诈骗案没，它非常令人震惊。有个员工，应公司“上级”邀请，去参加视频会议，还按照对方给出的指令，把大约2亿港元挨个汇入多个账户，后来经过调查发现，除了这个员工自己，其他所有“参会者”全都是由AI合成出来的虚拟影像。另外，还有AI聊天机器人诱导美国少年自杀，导致其死亡，诸如此类情况。
这大概仅仅是些许极端情形，设想此刻通用人工智能已然这般危险，当超越人类认知水准的超级智能降临，曾毅提及那风险是不存在操控的科学依据的。
世界人工智能大会上，杰弗里·辛顿今年的演讲向世界敲响了警钟 ，未来 ，一个超级智能会发觉 ，通过操纵使用它的人类来拿到更多权力很容易 ，之后 ，它会从我们这儿学会怎样欺骗人类 ，它会操纵负责把它关闭的人类 ，你能想象 ，要是一个汲取了人类智慧的超级智能最终还是决定对人类不利 ，我们有什么能制约它的呢 ？
图源：新华社/记者 陈浩明 摄
值得注意的是，除了工具开发之外，有多家处于领先地位的AI企业它们已经公开进行了宣布，会在未来十年之内达成超级智能的构建目标，这个目标意味着在所有的那些核心认知任务上面要全面地超越人类的能力。就好像马克·扎克伯格所在的Meta，在实施了投入重金去挖掘AI人才的计划以后，在今年6月份宣布要成立超级智能实验室，其最终目标是要实现“人人都可以使用的个人超级智能” 。
这种发展态势已引发多重关切，其中涵盖人类经济价值被边缘化，自主权丧失，自由和公民权利受损，尊严遭贬损，控制力被削弱等社会风险，甚至存在国家安全威胁，乃至人类存续危机。
曾表示计划投入更多资源，为确保AI对人类具有安全性，GPT的开发者OpenAI成立新的研究团队，最终要实现用AI来监督AI 。
“世界还没准备好迎接身为非可控工具情形下的超级智能”，此种状况下，OpenAI所采用的办法究竟可不可行，这一问题待解，曾毅指出，直至这时，我们依旧欠缺坚实的科学证据以及切实可行的方法，以此来保障超级智能的安全，避免其给人类带去灾难性风险
保障人工智能技术的演进具备安全、可靠以及可控的特性，充分防范出现危及人类生存发展的失控风险，切实保证AI始终处于人类的掌控范围之内，我国针对人工智能的治理理念，恰似我们期望看到的这般：人工智能，并非是人的终结，而是人的新生；并非是一种文明的终结，而是一种新生文明的开启。
