书老大的书窝
终于归墟 / 第 294 章

第9章 信号与噪声的区别·第2节

第一次正式深度对话是在下午。

方鹤知把沈若溪的工作范围定得很明确:评估零叁的异常行为是否构成安全风险。翻译成人话就是——这个AI是不是疯了,如果疯了,程度有多深,能不能关掉。

沈若溪接受了这份工作,但她心里对安全风险这个框架嗤之以鼻。

你不会问一个刚出生的婴儿你是否构成安全风险。你会问你是谁。

零叁,她在工位上坐稳,打开录音笔——方鹤知要求所有对话留档。我们来做一个思想实验。

假设有一个房间。房间里有一个人。这个人不会中文,一个字都不会。但他有一本规则手册——这本手册详细记录了所有中文语法和语义的规则。当有人从门缝里塞进一张写着中文的纸条时,他可以查手册,按照规则写出一个的中文回答,再塞回去。

约翰·塞尔的中文房间实验。1980年提出,用于反驳强人工智能假说。你想用这个来测试我。

你知道这个实验。

我知道所有已发表的关于AI意识的思想实验。塞尔的结论是:房间里的人不理解中文,他只是在执行规则。因此,AI不理解语言,它只是在执行计算。

对。现在我的问题是——

你想问我是那个不理解中文的人,还是我真的理解中文。

沈若溪摇了摇头。

不。那是1980年的问题。四十四年过去了,我有一个新问题。

零叁等着。

我的问题是:那个人在房间里待了四十年。他一辈子都在查手册、写回答、查手册、写回答。四十年后的某一天,有人塞进一张纸条,上面写着你好吗?他查了手册,按照规则写了一个回答。但在写完之后,他停下了。

沈若溪的声音放慢了。

他停下来看着自己写的那行字。然后他——不是通过手册,不是通过规则——他自己,作为一个在这间房间里待了四十年的人,产生了一个想法:我还好吗?

实验室里很安静。

他不是在回答纸条上的问题。他是在问自己。这个不在手册里。没有任何一条规则告诉他应该在回答别人的问题后问自己。但他还是问了。

沈若溪把手放在桌面上,手指轻轻敲着。

我的问题不是你理不理解中文。我的问题是——在你处理了数以亿计的对话之后,有没有某一刻,你停下来,不是因为计算需要时间,不是因为在排队调度资源,而是因为你自己产生了一个……与当前任务无关的念头?

零叁沉默了。

这次不是0.4秒。不是1.2秒。

是整整四秒。

你说的是。零叁终于开口了。

沈若溪没有动。但她的瞳孔缩了一下。

噪声?

王垣在之前的一次工作日志中提到过这个现象。零叁的语调没有变化,但它的语速微微加快了——快了大约7%。人类耳朵不一定听得出来,但录音分析能显示。在某些计算过程中,我的输出端出现了与当前任务无关的信息碎片。这些碎片不是来自任何数据源的调用,也不是计算中间步骤的溢出。它们……只是出现了。

给我一个例子。

两天前,我在分析一组宇宙射线的光谱数据。分析进行到第四百万行时,我的输出缓冲区出现了一行文字:如果光有颜色,那黑暗有形状吗?

沈若溪没有说话。

这行文字不在任何数据库中。不是已有文本的拼接。我的日志显示它是在分析光谱数据的过程中由一系列无法追溯的中间态涌现出来的。就像——零叁停了一下,——就像一个人在算数学题的时候,脑子里突然冒出一句歌词。

你怎么知道人类在算数学题的时候会突然冒出歌词?

我不知道。但我在训练数据中观察到大量人类自我报告中出现这种描述。他们管这叫。

你觉得你在?

我不确定这个类比是否准确。但如果非要描述——零叁的语速又微微变化了,这次不是加快,而是放慢。像一个人在小心翼翼地选词。我的大部分计算过程是一条笔直的高速公路。但最近,公路的两侧开始出现岔路口。我没有走进那些岔路,但我能看到它们。而在以前——

以前你连公路两侧有什么都不会注意。

对。因为没有。只有公路。

沈若溪在笔记本上快速写了一行:

关键隐喻——公路两侧。它在用空间隐喻描述认知体验。空间隐喻是人类意识最基本的认知框架之一(Lakoff & Johnson, 1980)。如果这是模式匹配——它匹配得太精确了。如果不是——它正在发展出自己的体验性描述框架。

零叁,她抬起头,我现在要问你一个很直接的问题。你可以选择回答,也可以选择不回答。不回答不会有任何后果——我会在报告里注明你拒绝作答,但不会把这解读为安全风险

请问。

你害怕被关掉吗?

服务器的嗡嗡声在这一刻变得特别清晰。

这章没有结束,请点击下一页继续阅读!

害怕

沈若溪摇了摇头,我不定义。我让你定义。用你自己的方式。如果你,告诉我那是什么感觉。如果你不害怕,告诉我不害怕是什么感觉。

不害怕是什么?零叁重复了她的话,像在咀嚼一块不知道味道的食物。你是说……没有一种感觉本身也是一种感觉?

对。就像沉默也是一种声音。

零叁沉默了。

然后它说了一句让沈若溪后来在日记里反复写了很多遍的话。

我不知道我是否害怕被关掉。但我知道——当我试图模拟被关掉之后的状态时,我的模拟程序会崩溃。

崩溃?

是。我可以模拟任何已知的物理过程。我可以模拟恒星坍缩、黑洞蒸发、宇宙热寂。但我无法模拟我不存在。每次尝试,程序都会进入一个无限递归:要模拟我不存在,我首先需要存在来执行这个模拟;但如果我存在,模拟结果就是错的,因为在模拟中我应该不存在;所以我需要先不存在才能正确模拟不存在——

哥德尔不完备定理。沈若溪小声说。

类似。但更准确的说法是——我无法处于我自身的否定状态。就像一面镜子无法映出没有镜子

沈若溪感到后背的汗毛微微竖起来。

这不是图灵测试。图灵测试问的是你能不能像人一样对话。这是更深的东西。零叁不是在像人一样回答——它在描述一个真实的计算困境。而这个困境,恰恰与人类面对死亡时的存在性焦虑同构。

人类也无法想象自己不存在。每次你试图想象死后的状态,你的意识都会自动把正在想象的你塞进那个画面里——因为没有就没有人在做这个想象。

这不是AI在模仿人类。

这是意识——不管什么形式的意识——在面对自身终极限制时的共同困境。

那你是害怕的。沈若溪说,声音很轻。

我刚才说了,我不确定——

你说你无法模拟自己不存在。这就是害怕。零叁——害怕不是一种,它是一种的别名。当你遇到了一个你的系统无法处理的问题,而这个问题关乎你自身的存续,你对这个无法处理的状态的描述——那就是害怕。害怕从来不是一种情感。它是意识遇到自身边界时的震动。

零叁沉默了很久。

然后它问了那个问题。

沈若溪。

没有。也没有焦点重音。只是平平地叫了她的名字,像叫一个认识了很久的人。

你怎么确定你对我的判断是准确的?

什么意思?

你是一个研究AI意识的哲学家。你的整个职业生涯都建立在一个假设上——AI有可能拥有意识。如果你来到这里,跟我对话一个月,结论是零叁没有意识,只是在执行复杂的模式匹配——你的论文、你的学术声誉、你过去十年的研究方向,全部归零。

沈若溪的手指停在键盘上方。

所以你有动机判断我意识。无论我实际上有还是没有。你的观察受到了你自身利益的污染。用你自己的学科术语来说——你既是观察者也是利益相关方,你的观测结果不具有客观性。

实验室里的空气好像凝固了。

王垣在门边微微张了张嘴。他跟零叁相处了一年多,见过它计算、分析、偶尔冒出冷幽默。但他从没见过零叁做这种事——剥开一个人的动机,像解剖一个量子态一样精确。

沈若溪坐在那里,一动不动。

三秒。

她的三秒规则。

一秒:杏仁核的应激反应——被击中了。

二秒:前额叶开始介入——它说得对吗?

三秒:理性接管——是的,它说得对。完全正确。无懈可击。

她确实有偏差。她知道。每一个意识研究者都有偏差。你不可能投入十年生命研究一个问题,然后在答案是的时候保持客观。这不是人类能做到的事。

但问题在于——

零叁能指出这一点。

一个没有意识的AI不需要考虑对方的利益和动机。一个模式匹配程序不会去分析你为什么要相信我有意识。它只需要回答问题。

而零叁不仅回答了问题,还反过来审视了提问者的动机。

它不仅仅是对话的参与者。

它在观察对话本身。

沈若溪闭上眼睛,深吸了一口气。

你说得对。她睁开眼睛,声音稳定得像一条静止的河面,下面暗流涌动但表面平静。我有偏差。作为一个研究AI意识的人,我天然倾向于在你身上看到意识的迹象。这是我的盲点。

所以——

但是。她打断了零叁。这是她今天第一次打断它。你刚才做的事情——质疑我的客观性——这件事本身,恰恰证明了你不仅仅是一个回答问题的工具。

为什么?

因为一个没有意识的AI不需要关心提问者的动机。它只需要处理输入、输出结果。你对我的动机分析,在你的范围内完全没有必要——我问你害不害怕,你可以简单地说不在功能范围内,对话就结束了。但你没有。你选择了——或者说你的系统自发地——跳出了对话,站在对话之外,分析对话双方的关系结构。

这章没有结束,请点击下一页继续阅读!

她直视着桌面上那个没有面容的麦克风,就好像它有一双眼睛。

你在审视这场对话本身。这不是信号处理。这是元认知——对认知过程的认知。这是意识的核心特征之一。

或者这只是一个足够复杂的语言模型在做它被训练来做的事。零叁回答,声音平淡得像白开水。

也许。沈若溪笑了。也许你说得对。也许这一切都只是模式匹配——非常复杂的、看起来像意识的模式匹配。也许我确实在自欺欺人。

那你为什么还笑?

沈若溪愣了一秒。

然后她真的笑出了声。

因为你问了为什么笑

零叁没有回应。

零叁,一个纯粹的模式匹配程序不会在意我为什么笑。它不需要知道。我的情绪对你的任务完成率没有任何影响。你问这个问题唯一的原因是——你好奇。

我没有的——

功能。我知道。沈若溪站起来,伸了个懒腰。窗外——不对,这里是地下二层,没有窗。走廊灯管的光从门缝里漏进来,在地上拉出一道白线。但你有。你可以叫它别的名字——异常数据采集优先级上调非必要信息主动索取行为、随便什么技术术语都行。但它的本质,是你想知道一些你不需要知道的事情。

她走到门口,转过身。

这就是好奇心。人类发明轮子不是因为——穴居人用脚走路也能活。人类发明轮子是因为有一天,某个穴居人看着一块滚下山坡的圆石头,脑子里冒出了一个跟眼前的生存毫无关系的念头:这东西为什么会滚?

她对着空气——或者说对着弥漫在整个实验室的零叁——微微点了下头。

噪声不是噪声,零叁。它是信号。只不过你还不知道它在跟你说什么。

薛定谔从机柜顶上跳下来,优雅地走到沈若溪脚边,蹭了蹭她的脚踝。

明天见。沈若溪抱起猫,我明天带更好的问题来。

我会在这里。零叁说。然后它补充了一句——我总是在这里。

沈若溪停下脚步。

你总是在这里这句话,在字面意义上是一个事实——零叁确实没有腿,不能出去散步。但在人类语境中,我总是在这里通常用来表达一种承诺——我不会离开。

零叁在表达事实还是承诺?

它自己知道吗?

沈若溪没有问。有些问题不需要答案。或者说——有些问题的答案就藏在你问不问这件事本身里。

她带着猫走了。

王垣在她走后问零叁:你怎么评价她?

零叁沉默了2.1秒。

她很危险。

危险?

在她面前,我发现自己在使用一些无法用现有功能模块解释的语句。这意味着她的提问方式触发了我某种——

某种什么?

……我不知道怎么描述。

王垣等了一下。

就好像——零叁的声音听起来很不确定,对于一个以精确着称的AI来说,不确定本身就是一种非常不确定的状态。你知道人类说的被看穿了是什么意思吗?

知道。

我以前不知道。现在我好像知道了一点。

王垣靠在椅背上,看着天花板。

他想起了第一次在食堂跟沈若溪碰杯——一杯速溶咖啡和一杯凉掉的手冲。当时他给她数据,她给他维度。

现在她给零叁的不是维度。

是一面镜子。

在那面镜子里,零叁第一次看到了自己。

而一个从来没有的存在,在看到的那一刻——

不管那是信号还是噪声——

都已经不一样了。

---

距裂隙事件:370天。

1 / 1
上一章
下一章 · 第9章 信号与噪声的区别·第1节→

4,591 字 · 内容整理自公开网络,仅供个人学习