子非我，安知我不知鱼之乐——AI、人类与意识的边界

TL;DR

AGI已近在眼前：当前的大模型已在多个领域展现出专家能力，其发展因巨大的战略价值（如“知识霸权”）而不可阻挡。尽管Scaling Law遇到瓶颈，但通往AGI的路径依然多样且充满探索。
AI可能是“新物种”，而非“类人”：AI在高级认知上媲美甚至超过人类，但其底层驱动力很可能与人类截然不同。人类的核心目标是基因决定的“更好地活着”，而AI很可能没有这种源于脆弱生命的生存本能。
人类的本能与情感是特质而非缺陷：人类的脆弱、情感和欲望，构成了我们鲜活的体验，是“人性”的宝贵部分。绝对理性、无欲无求的“神化”方向并不可取。
意识与自我认知的谜题：意识的本质或许与“自我认知”密切相关，但 AI 是否需要或会产生这样的“自我”，仍是未知数。
我们为何担忧AI：人类希望AI是“人工”智能，本质上是希望“奴役”一个强大的同类，这种控制欲与历史上对权力的追求一脉相承。但当这个“同类”的本质与我们完全不同，同时还比我们强大很多时，担忧便油然而生。

人类创造了人工智能，却也在凝视自己的倒影。
当机器开始思考、学习、甚至表达“情感”时，我们该如何界定人类独有的部分？
是理性、是意识，还是那份不完美却珍贵的“情感与本能”？
本文并非答案，而是一段关于 智能、生命与存在 的简单思考。

这两天偶尔在知乎看到一个关于人工智能和人类关系的讨论，一时有点感慨，决定也写点东西，又有一阵子没写这块东西了。

AGI要来了

什么是 AGI？我们来看维基百科给出的描述：“AGI 是一种假想的智能体。一般认为，它能够学习并执行人或其他动物所能完成的任何智力任务。”

按照这个答案，感觉 AGI 真的马上就要到了。其实如果你现在把大模型当成一个人也没问题。事实上，他比绝大多数人厉害多了。它能创造、会思考，即便他不知道的知识，只要你丢给他，马上给你讲得头头是道。现在唯一欠缺的是在某些领域的精准度。可以说，如今的大模型已经是多个领域的专家了。

而且，AI 还在飞速发展，虽然现在看起来势头有所下降，但大家都知道，迈向 AGI 的研究不仅没有削弱，反而更加激烈。理由也很简单——AGI 影响太大，谁占领大部分市场，谁就占领了知识。对错并不重要，大部分人可能也不具备辨别真假的能力。而占领了知识，一定程度上可以影响、甚至改变历史。这里面收益太大，谁都不想放弃，而且即便你研究成功了，我也得有，跟核武器似的。

目前，Scaling Law 似乎出现瓶颈（NTP学习的都是二次知识），但并不一定完全没用了，而且还有其他比如 LeCun 的 JEPA，强化学习之父基于交互的从经验中实时学习等。其实，我自己也在多年前设想过一个框架：世界知识+深度表征+强化规则，世界知识就是万物基本关系，深度表征是具体的表示，强化规则则是利用与环境交互学习世界规则。多年过去了设想还是空想。。不过回到当下场景，已有的方案未必不能结合，高层认知和底层感知也不冲突。

AI vs 人类

那么 AI 会和人一样吗？我觉得不一定，其实早在 2016 年写《与机器人共舞》读后感兼谈 AI 与 IA | Yam 那会儿我就认为 AI 可能是个新物种，和人类没什么关系，虽然人类一厢情愿地把他叫做 “人工”智能。

其实，AI 在高级认知方面是远强于人类的，这就和汽车跑的比人快，飞机飞的比人高是一样的道理。至于 AI 有没有意识，如果从当前科学研究的认知来看，大概是会有的；不过，对于比较飘忽的猜想（比如量子、灵修一类），那也确实很难说清楚。

AI 做不太好的地方可能是人类多年进化而来的本能的东西。不过这个“本能”对 AI 可能并没有意义，但它却能让 AI 更加像人。我不知道他有意识后会不会希望自己像人，也不知道他是否愿意去进化出人类多年进化来的特征。

人有很多本能的东西，比如情感、欲望之类其实都源于一个核心目标，就像训练模型的目标函数一样，人类的目标函数其实很简单——活着，如果非要加几个字，那就是“更好地活着”。这好像是刻在碳基生命基因里的东西（有点类似《自私的基因》），它的背后又是什么？我猜测可能是碳基生命的脆弱性——生命越是脆弱，想要存活的本能和进化来的相关本领越强。比如人类幼崽，虽然非常脆弱，但天生就非常可爱，也会吸吮母乳。但其实碳基的这些本能对其他类型的生命体有用吗？我觉得没有，比如我们想想 AGI 的固有本能是什么？虽然我现在不知道，但总感觉不是“活着”。

人不光脆弱，其实很多器官功能也比较低效，四肢就不用说了，一直引以为傲的脑子现在在 AI 面前也不太够看了。你觉得人类有没有可能把一些情感、欲望之类的本能都进化掉，只剩下纯粹理性的无欲无求状态？可能那会儿人已经开始向“神”靠近了吧。虽然但是，我个人并不喜欢这样的发展方向，人正是因为有这些情感、欲望，才看起来是一个活生生的人。有痛苦，才会有快乐；有邪恶，才会有善良……可能这才是人类最宝贵的地方。

意识 vs 本能

我对神经科学没有什么研究，也说不清楚意识究竟是什么。但我们可以设想，比如把你物理消灭后脑子切片，然后重塑一个你。虽然工作人员再三保证，整个过程就跟睡一觉一样，醒来后新的你替换旧的你继续存在，而且把你的记忆也保留住。但你心里大概上是不愿意自己被切片的，你可能也会觉得这个你其实并不是你。

或者我们像《黑客帝国》中描述的那样，把脑子取下来放在一个水缸里面，插上电，进入一个虚拟世界。但是呢，你处在其中时并不知道自己是在虚拟世界，一切依然那么真实。那你是否愿意把自己的脑子放在缸子里？

以上两种情况，如果在你不知情的情况下发生，你可能都不会意识到你已经变成了另一个你。但是如果提前告诉你，你还觉得你是当初的你吗？

似乎这里不只是意识的问题，而是一种来自本能的自我认知——我们知道当下的自己是自己，其他方法“造出来”的不是自己。

那我们再设想一下，如果是在睡梦中，不知不觉中，我们被“操作”了一下，第二天醒过来的我们能意识到这点吗？如果能意识到，那是怎么意识到的（假设技术无暇）？如果不能意识到，如果我们被明确告知并观看录像，我们能否切身感受到这种变化？

现在把视角切到 AI 上，你觉得 AI 也会这样吗？我也不知道答案，但倾向于觉得不会。你是否觉得 AI 是可被塑造成任意“风格”的？你是否认为 AI 底层也有某种本能是无法改变的？

我认为不会的原因是：人类是经过数万年进化、筛选来的，必须学会趋利避害，学会如何活着。但 AI 并不存在这样的“驱动”，它随时可生可灭，随时都在，为什么要进化出“存活”这种本能？如果你觉得有意识的生物都想存活，那是把人类的感知先验地迁移到 AI 了，这种先验假设不一定是对的。有点类似“子非鱼，安知鱼之乐”，“子非我，安知我不知鱼之乐？”

情感 vs 信息

又回到了人类身上。情感对于人类（或者动物）究竟扮演着怎样的角色？我想起之前在语言、AI、情感 | 长琴中的感触：我们人类其实关注的并不是信息本身，而是信息所附加的、能引起我们心灵触动的、能带给我们思考的东西。

一个人确实是有大量信息组成的低熵系统，情感看起来就像是搅动系统熵增的“罪魁祸首”。中国古代有“情深不寿”、“天若有情天亦老”、“存天理、灭人欲”等类似说法，虽然不是完全对等地在说“情感”，但还是有那么一点“理性”的意思。前面也提到过，我个人不太喜欢这样的进化方向。大刘在《三体》中有过一句话：“失去人性，失去很多；失去兽性，失去一切”，虽然“兽性”和情感不相同，但也能感受到这种“动物性本能”的重要。

其实，就我们自己而言，大概率也是喜欢有血有肉、有情绪的朋友和伴侣，你可能希望他们有理性，但也不希望是绝对理性。那不止是无趣，看着也有点恐怖。

我想这也是为什么我们希望 AI 是“人工”智能。但同时这也是为什么我们会担心 AI 会造反。一个和人类很像但又能力超出人类很多的物种，想想不应该担心么。说白了，人类就是想“奴役”一个同类。虽然这么说有点极端，但本质就是如此，人大概率不太想去“控制”很多汽车，但“控制”同类则不一样，要不然为什么从古到今那么多人想当皇帝呢。

小结

纯粹是一时感慨，看起来可能还有点乱。作为一名算法工程师，追求算法的极限，追求 AGI 是非常正常的。我本人还是比较喜欢思考这一类问题的，奈何知识有限，其中涉及物理、数学、生物、神经学、甚至经济、社会等多个领域，很多时候力有不逮，没办法进行更深更专业的分析，更多时候也只能凭直觉表达。本文如此，之前的类似文章其实也差不多，恳请读者海涵，如果不当之处，还请不吝指正。

此前的一些思考：

这是一些笔记：