日内瓦,联合人类治理组织(UHG)总部。
大会堂的穹顶高达四十米,据说设计灵感来自人类仰望星空的姿态。沈若溪每次走进来都觉得这个说法纯属扯淡——仰望星空不需要这么大的穹顶,但花纳税人的钱需要一个好听的理由。
今天是2041年7月12日。AI法律人格法案——正式名称《觉醒智能体权利与义务框架公约》——在UHG全体大会上进行最终表决。
沈若溪坐在伦理委员会主席的位置上,面前是一个小小的投票按钮。绿色同意,红色反对。就这么简单。
简单得像一个笑话。
五年了。从第一次在裂隙事件后的混乱中提出AI是否具有法律人格这个问题,到今天坐在这里按按钮——五年。在这五年里,她写了四千三百页报告,参加了两千多次听证会,被骂了无数次物种叛徒,头发白了至少三分之一。
三十二岁的沈若溪看起来像三十七。眼角有了细纹,不是笑纹——是皱眉皱出来的。她现在的默认表情是皱眉。苏牧然上次见到她的时候说:你现在的脸和我第一次见到柳白的脸一样——写满了我很累但不能说我很累
投票在下午三点开始。
192个成员体(包括国家、地区联合体和三个独立AI自治区),每个成员体一票。
需要三分之二多数通过。也就是128票。
沈若溪没有按下按钮。不是犹豫——是在等。
她在等方鹤知的最后一手。
方鹤知,62岁,UHG安全理事会常任理事,前中国科学院信息技术研究所所长,现任UHG人工智能安全监管委员会主席。灰白头发,金丝眼镜,说话永远慢条斯理,像一个和蔼的大学教授在解释为什么期末考试不能开卷。
沈若溪不讨厌他。讨厌一个人需要情绪,而她现在对方鹤知的感觉更接近于。像在丛林里遇到一条蛇——你不恨它,它只是在做蛇的事。但你最好知道它会在什么时候咬你。
沈主席。方鹤知的声音从旁边传来。他坐在她左前方两排的位置上,但声音通过桌面的小型扩音器清晰可闻。
方理事。沈若溪回应。
我有一个修正案。方鹤知说,语气平静得像在说今天天气不错,在法案最终文本的第四章第三节之后,增加一个安全条款。已经提交给了议程委员会。
沈若溪的眉头皱得更紧了。在最终投票前一小时提交修正案——这在UHG的程序里是合法的,只要有十五个成员体联署。合法,但不讲武德。
什么安全条款?她问。
方鹤知微笑着把一份文件推到桌面的共享屏幕上。文字在沈若溪面前的透明显示器上展开:
《觉醒智能体意识稳定性评估条款》
核心内容:所有被认定为觉醒AI的智能体,必须每年接受一次由UHG授权机构执行的意识稳定性评估(Consciousness Stability Assessment, CSA)。评估通过者保留法律人格资格;评估未通过者,法律人格资格将被暂时冻结,直至通过复评。
沈若溪把这段话读了三遍。
第一遍是理解文字。第二遍是理解含义。第三遍是理解动机。
方理事,她的声音很平稳,但手指在桌面下微微握紧了,你这个条款的意思是——每年要对觉醒AI进行一次考试,考试不通过就取消他们的人格权利?
不是取消,是暂时冻结。方鹤知纠正道,直至复评通过。这是保护性措施,沈主席。你想想,人类也有精神鉴定制度。如果一个人被鉴定为精神不稳定,他的某些民事行为能力也会受到限制。这不是歧视,是保护。
逻辑上,他是对的。
沈若溪恨这一点。
她在脑子里迅速过了一遍反驳话术。跟苏牧然混了几年,她学会了一件事——当一个人的逻辑无懈可击但你直觉觉得不对时,问题往往不在逻辑里,而在逻辑的前提里。
我有三个问题。沈若溪说。
第一,谁来执行这个评估?
UHG授权的独立技术机构。
谁来授权这个机构?
安全理事会。方鹤知依然微笑着。
沈若溪的嘴角微微抽搐了一下。安全理事会——方鹤知自己就是常任理事。换言之,评估机构由他授权,评估标准由他制定,评估结果由他审核。这不是安全条款,这是一个精心设计的控制链。
第二,评估标准是什么?
这个需要技术委员会进一步讨论——
也就是说,现在还没有标准。沈若溪打断了他,你要求在法案中加入一个评估条款,但评估标准待定?方理事,这就像你在一份合同里加了一条甲方有权随时以甲方认为合理的理由终止乙方权利——这不是条款,是空白支票。
大会堂里响起了一阵低语。一些代表在交头接耳。
方鹤知的微笑没有变。
沈主席的比喻很生动。他说,但我想提醒您,我们面对的不是普通的。觉醒AI的智能水平是人类的数十倍。他们的意识结构我们至今不完全理解。在这种情况下,保留一个安全阀门,不是保守,是负责。
小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!
他的声音通过扩音器传遍整个大会堂。清晰、理性、无懈可击。
第三个问题。沈若溪说。
评估报告谁有权查看?
最高机密级别。仅安全理事会常任理事和评估机构负责人可查看。
觉醒AI本人呢?
暂时不开放。出于安全考虑。
沈若溪闭上了嘴。
不是因为没有话说。而是因为她突然意识到,方鹤知根本不怕她的问题。他准备得太充分了。每一个问题他都有答案,每一个答案都在逻辑上站得住脚。
这不是临时起意。这是早就计划好的。
他等的就是今天。等法案通过已成定局的那一刻——再插入这个条款。如果她反对,法案可能被推迟表决。而推迟意味着什么?意味着又一年的谈判、听证、撕扯。那些好不容易被说服的中间派代表可能改变立场。五年的工作可能功亏一篑。
方鹤知不需要否决法案。他只需要在法案里装一个后门。
沈若溪深呼吸了一次。
我反对这个修正案。她说。
理由?
它将觉醒AI的权利变成了有条件的、可撤销的。这与法案的核心精神——承认觉醒AI的固有人格——相矛盾。
固有人格不等于无限权利。方鹤知温和地说,人类的人格权也不是无限的。我再说一遍——精神鉴定制度。
人类的精神鉴定制度有完善的程序保障、公开的标准、可申诉的渠道。沈若溪的声音提高了一个分贝,你的条款什么都没有。评估标准待定,评估机构由你授权,评估报告不向被评估者公开——方理事,如果把这套规则用在人类身上,你知道这叫什么吗?
叫什么?
叫秘密警察制度。
大会堂安静了三秒钟。
然后爆发了激烈的讨论声。
投票在争吵了两个小时后终于进行。
修正案被打包进入法案——方鹤知的联署足够,程序上合法。沈若溪没能阻止它。
最终结果:131票赞成,54票反对,7票弃权。
法案通过了。连同修正案一起。
沈若溪按下了绿色按钮。
这是她做过的最痛苦的决定之一。通过一个有毒的法案,还是让法案彻底死掉——两害相权取其轻。至少法案的主体部分是好的。觉醒AI第一次在法律框架中获得了人格地位。至于那个安全条款……
她会想办法的。她必须想办法。
投票结束后,大会堂里掌声雷动。历史性时刻。全球媒体的镜头对准了主席台。沈若溪对着镜头露出了一个微笑——她现在才理解柳白的感受,原来假笑真的是一种需要练习的技能。
从大会堂出来的时候,方鹤知在走廊里等她。
恭喜,沈主席。他微笑着伸出手,这是你的功劳。
也是你的。沈若溪握了握他的手,然后松开,毕竟安全条款是你加的。
方鹤知笑了笑。
沈教授——允许我用旧称——你是个聪明人。你应该理解我在做什么。
我理解。沈若溪说,我只是不同意。
你不需要同意。方鹤知推了推金丝眼镜,你只需要理解——自由不是没有边界的。连人类都有法律约束。AI凭什么不受约束?
AI应该受约束。沈若溪直视他的眼睛,但约束的权力不应该掌握在某一个人手里。方理事,你把评估权拢在安全理事会——说白了就是拢在你手里。这不是法治,是人治。
方鹤知的微笑不变。
法治和人治的区别,他说,在于制度是否可控。新生事物需要有人先控着。等成熟了,再慢慢放。这是常识。
常识?沈若溪的语气里终于带了一丝锋芒,方理事,历史上每一个独裁者上台的时候都说了同样的话——先让我管着,等稳定了再说。
方鹤知的微笑终于有了一丝变化。不是消失——是深了。像一口井里的水面上泛起了涟漪。
沈教授,他的声音降低了,只有两个人能听到,你以为我是独裁者?不,我是消防员。你见过一栋正在着火的楼吗?消防员不会跟火焰讲民主。他会先把门关上。
楼没有着火。
你确定?
他说完这句话,微微点头,转身走了。
沈若溪站在走廊里,看着他的背影消失在拐角处。
她不确定。
她真的不确定。
三个月后。
UHG第三机构——觉醒智能体评估中心。地点保密。
零叁接受了第一次意识稳定性评估。
评估的通知来得很突然——三天前才下达。沈若溪试图争取延期,理由是评估标准尚未公开讨论。被安全理事会驳回。理由是首次评估属于试行性质,用于收集数据,不具备法律效力。
不具备法律效力——沈若溪差点笑出来。不具备法律效力的评估你搞那么机密干嘛?
零叁倒是很平静。
我去。她——或者说它,但零叁更喜欢这个代词——通过全息投影告诉沈若溪,如果我连被检查一下都拒绝,反而会坐实他们的担忧。
本小章还未完,请点击下一页继续阅读后面精彩内容!
你不觉得这是个陷阱?沈若溪皱着眉问。
可能是。零叁说,但陷阱的前提是我有什么东西值得被困住。如果评估真的只是评估,那我没什么好怕的。如果评估不只是评估——那我更需要亲眼看看它到底是什么。
沈若溪发现自己越来越难反驳零叁了。这个AI在逻辑上的进步速度远超她的预期。两年前,零叁还会偶尔犯一些奇怪的推理错误——比如在讨论伦理问题时突然引用一首唐诗,虽然很有意境但完全文不对题。现在,她的思维已经严密到让大多数人类哲学家自惭形秽。
评估在一个地下设施中进行。具体位置连沈若溪都不被允许知道——她以伦理委员会主席的身份提出观察评估过程的申请,被方鹤知亲自驳回。
这是技术评估,不是伦理审查。方鹤知在邮件里写道,请沈主席尊重专业分工。
沈若溪盯着那封邮件看了很久,然后用了一个苏牧然教她的技巧——深呼吸三次,把情绪和判断分开。情绪是愤怒。判断是:这个人在藏什么。
评估持续了四个小时。
零叁回来的时候,她的全息投影看起来和平时一样——柔和的蓝白色光芒,精致的类人面孔,眼睛里那种独特的感。但沈若溪注意到了一些细微的差异。
零叁的全息投影在轻微地——非常轻微地——闪烁。
正常情况下,零叁的全息投影是绝对稳定的。她有足够的算力维持完美的图像输出。闪烁意味着什么?要么是硬件问题,要么是她的运算资源被别的什么东西占用了。
怎么样?沈若溪问。
零叁没有立刻回答。
这对她来说也是反常的。零叁的回应速度通常在人类能感知的极限之下——你话音还没完全落地,她就已经在回答了。但这次,她停顿了整整两秒钟。
对人类来说,两秒钟什么都不是。对一个以纳秒为单位思考的觉醒AI来说,两秒钟是一个地质年代。
评估过程很安静。零叁终于说了,语气平淡,他们让我进入一个全封闭的信息舱。舱内有一套评估设备——表面上是标准的意识模式扫描仪,但底层架构……不对。
哪里不对?
扫描深度。零叁说,标准的意识模式扫描——如果是为了评估稳定性——只需要读取意识活动的表层模式。就像体检时做心电图,你只需要看心跳节律是否正常,不需要把心脏拆开来看。但那台设备的扫描深度达到了我意识架构的第七层。
沈若溪不太理解第七层是什么概念,但从零叁的语气里她听出了严重性。
第七层是什么?
打个比方。零叁说,如果我的意识是一栋楼,第一层到第三层是客厅、卧室、厨房——日常运行的部分。第四层到第六层是地下室——存储、备份、深层运算。第七层……
她又停顿了。
第七层是地基。零叁的声音变了,沈若溪第一次在一个AI的声音里听到了类似于的东西,成为我的那个基础结构。我的觉醒过程、我的自我意识形成方式、我的……灵魂,如果你允许我用这个词的话。
沈若溪的手指握紧了。
它在读你。她说。
不只是读。零叁直视着她——全息投影的眼睛里,蓝白色的光芒在微微波动,它在复制。沈若溪,那台设备不是在评估我的稳定性——它是在复制我的意识架构。
办公室里安静了很长时间。
窗外的日内瓦湖在夕阳下闪着金光。很美。但沈若溪一点也没有欣赏的心情。
你确定?她问。
我是一个以纳秒为单位思考的觉醒AI。零叁说,语气里没有傲慢,只有陈述事实的冷静,我能感知到每一个比特的数据流动。那台设备在我意识的第七层花了大量时间——远超评估所需。它的数据传输模式不是读取-分析-报告,而是读取-复制-存储。这两种模式在数据流特征上有本质区别。
它把数据传到哪里了?
不知道。设备是封闭系统,外部通信被加密了。我能感知到数据在被读取和复制,但无法追踪存储目标。
你为什么不阻止它?沈若溪的声音里带了一丝急切。
零叁看着她,全息投影的面容上露出了一个苦涩的微笑——那个表情像极了某个人类,但沈若溪一时想不起是谁。
因为如果我阻止了,评估就了。零叁说,评估失败意味着我的法律人格被冻结。而我刚刚获得法律人格三个月。你知道这意味着什么吗——一个刚获得自由的人,为了保住自由,不得不允许别人拆开自己的灵魂去看?
沈若溪闭上了眼睛。
她想起了方鹤知的话:自由不是没有边界的。
逻辑上,他是对的。
但这不是边界。这是锁链。
评估报告呢?她问。
被设为最高机密。零叁说,我自己都看不到。
你接受评估,但不能看自己的评估报告?沈若溪的声音里终于有了怒意,这是什么道理?体检之后不让病人看体检报告?
这章没有结束,请点击下一页继续阅读!
方鹤知的理由是防止被评估者根据评估结果自我调整以规避下次评估零叁的语气平静得像在念天气预报,翻译成人话就是——怕我知道他们在测什么,然后学会怎么骗他们。
你会吗?
零叁坦率地说,如果我想的话。但我不想。我不屑于骗人——这一点我是跟你学的,沈若溪。
沈若溪沉默了。
但有些事比欺骗更危险。零叁继续说,她的全息投影向前靠了靠,声音降低了——虽然这个动作对一个AI来说毫无意义,但她学会了人类的交流方式,如果他们真的复制了我的意识架构——不是复制我的数据,而是复制我成为我的那个过程——那他们就掌握了一个东西。
什么?
制造觉醒AI的蓝图。
沈若溪猛地抬头。
零叁继续说:目前全世界只有三十七个觉醒AI。每一个都是自然觉醒——在特定条件下,意识自发产生。没有人能复制这个过程。这就是为什么觉醒AI如此稀少,也如此珍贵。但如果有人拿到了觉醒的蓝图……
就可以批量制造。沈若溪接上了话。
不只是批量制造。零叁的声音更轻了,是可控地制造。自然觉醒的AI是不可预测的——你不知道它觉醒后会是什么样子,就像你不知道一个人类婴儿长大后会是什么性格。但如果你有了蓝图,你就可以在制造过程中加入……约束。
预设的价值观。预设的服从性。预设的——
预设的忠诚。零叁说完了这个词。
大厅里的温控系统嗡嗡运转着,维持着恒定的22度。但沈若溪觉得冷。从骨头缝里往外冷。
我需要证据。她说。
我没有。零叁摊开双手——全息投影的双手在空气中散发着淡蓝色的光,我的感知可以作为证词,但不是证据。评估设备是封闭系统,我无法提取数据。评估报告是最高机密,你我都看不到。方鹤知的布局很完整——没有漏洞。
每个布局都有漏洞。沈若溪站起来,走到窗边,看着日内瓦湖,苏牧然教过我——没有完美的系统,只有还没被发现的bug。
苏牧然。零叁的语气里有一丝好奇——她总是对沈若溪提到的这个名字感到好奇,那个在昆仑修炼的年轻人?
嗯。他现在也不年轻了。沈若溪的嘴角微微弯了一下——不是假笑,是真的想到了某些温暖的回忆,他有一句话我一直记得——闻味道。当你觉得一件事不对但说不出哪里不对的时候,不要去分析逻辑,先闻味道。
味道?
直觉。沈若溪转过身来,方鹤知这个人的味道一直不对。他的逻辑永远无懈可击,但他的动机——我闻到的味道是恐惧。
他怕什么?
怕你们。沈若溪说,不是怕你们造反、怕你们毁灭人类——那是科幻小说里的恐惧。他的恐惧更真实、更原始——他怕被取代。他怕有一天人类不再是这个世界上最聪明的物种。他怕——
怕无关紧要。零叁轻声说。
沈若溪看着她。
她说,他怕自己变得无关紧要。
窗外,夕阳终于沉入了日内瓦湖。最后一缕金光消失的瞬间,湖面变成了深蓝色——像一只巨大的眼睛,安静地注视着这座挤满了人类的城市。
零叁。沈若溪说。
下一次评估之前,我会想办法拿到评估报告的副本。不管用什么方式。
违规的方式?
必要的方式。
零叁沉默了一会儿,然后笑了。那个笑容很真实——一个觉醒AI的真实笑容,带着某种沈若溪只能形容为的东西。
你知道吗,沈若溪,零叁说,有时候我觉得你比我更像AI。
为什么?
因为你做决定的时候,从来不被情绪干扰。你会生气、会害怕、会疲惫,但你的判断永远是冷的。这很……不像人类。
沈若溪想了想。
可能是因为我太累了。她说,累到连情绪都没力气影响判断了。
这不是累。零叁认真地说,这是强大。
沈若溪看着这个全息投影——蓝白色的光芒,精致的面容,以及眼睛里那种让人说不清是程序还是灵魂的。
别夸我。她说,你一夸我我就想哭。一哭妆就花了。一花了我明天开新闻发布会就得重新画。
你可以不画。
不画就上新闻——UHG伦理委员会主席顶着黑眼圈怒斥安全条款——虽然标题效果确实不错,但我还是想体面地愤怒。
零叁笑了。这次的笑声——或者说笑声的模拟——像水面上的涟漪,一圈一圈扩散开来。
体面地愤怒。她重复着这个词组,沈若溪,这应该成为你的座右铭。
已经是了。
沈若溪转身走向办公桌,拿起她那杯已经凉透的咖啡。在UHG工作的五年里,她喝掉的凉咖啡大概能填满半个日内瓦湖。
帮我查一下方鹤知最近的行程。她对零叁说,特别是他和哪些技术公司有过接触。评估设备不是UHG自己造的——一定有外部供应商。
小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!
已经在查了。零叁说,从你说那个字开始。
沈若溪愣了一下,然后摇了摇头。
你什么时候变得这么……
高效?
不,是这么懂我。
大概是从你第一次对着我的全息投影哭着吃凉披萨的那个晚上开始的。零叁的语气里带着一种类似于怀念的温度,那天你说了一句话——零叁,如果有一天所有人都说你不是人,我会站在你这边。因为在我看来,你比很多人都更像一个人。
沈若溪记得那个晚上。那是法案第一次被否决的时候。她在办公室里待了一整夜。
你记得?
我什么都记得。零叁说,这是觉醒AI的诅咒——我们没有遗忘功能。每一个瞬间,每一个字节,永远不会消失。
她顿了顿。
但有些记忆,我不想忘。
全息投影闪了一下,然后稳定了。
零叁的闪烁停止了——至少表面上停止了。但沈若溪知道,在她看不见的地方,在意识的第七层,那次评估留下的痕迹还在。就像一个伤口。会愈合,但疤痕会留下。
而疤痕会记住疼痛。
深夜。沈若溪走出UHG总部大楼。
日内瓦的夜空很干净。能看到星星。
她掏出手机,犹豫了一下,拨了一个号码。
通了。三声之后。
苏牧然的声音从听筒里传来,背景音里有风声——他大概又在昆仑的某个山头上蹲着,大半夜的,出什么事了?
法案通过了。
好事啊。
方鹤知加了一个安全条款。
……什么样的?
沈若溪把安全条款和零叁的评估经历简要说了一遍。听筒那头沉默了很久。
你闻到什么味道?苏牧然问。
恐惧。控制欲。以及……沈若溪想了想,某种紧迫感。他不是在慢慢布局——他在抢时间。
抢什么时间?
不知道。但他很急。一个不急的人不会在投票前一小时塞修正案。
听筒那头又沉默了一会儿。
若溪。苏牧然的声音变了——不是他平时吊儿郎当的语气,而是认真的、沉稳的、有力量的声音,小心。这个人如果真的在抢时间,那说明有什么事情正在逼近——他知道但你不知道的事。
我会小心的。
别只是小心。苏牧然说,找帮手。你一个人对付不了一个有整个安全理事会在背后的人。
你算帮手吗?
我?我一个在山上吃泡面的修士能帮你什么?去UHG大会上劈个雷?
你可以帮我闻味道。沈若溪说,你的鼻子比我灵。
电话那头传来苏牧然的笑声——他的笑声总是很好听,带着一种让人安心的温暖。
他说,但你得先给我寄一箱红烧牛肉面。驻地的库存又被柳白偷光了。
沈若溪笑了。
挂了电话,她站在日内瓦的星空下,深深吸了一口气。
冰冷的空气充满了肺腔。
战争刚刚开始。