顾湛盘腿坐下，随手捡了根枯枝拨弄火堆。
“方先生，智取没问题，我这人喜欢动脑子。但在这之前，我有个问题一直没想通。”
方老抬起头，镜片上反射着跳动的火光，“小伙子，你直说。”
“您说有人在欺骗主脑，利用主脑做坏事。”顾湛问道：“这结论是不是有点草率？主脑是什么？是这个赛博利亚的神，是掌控一切算力的核心。谁能骗得了它？或者说……您凭什么这么确定，它是被骗了，而不是它自己想这么干？”
这话一出，周围几个流亡者都愣了一下，显然没人敢往这方面想。钱红缩在角落，翻了个白眼，大概是觉得顾湛不知天高地厚。
方老注视顾湛良久，才缓缓开口：“看你对量子态和平行宇宙那套理论接受得挺快，不像是只会打游戏的莽夫。既然你脑子里有点东西，那我也不把你当外行了。”
他顿了顿，抛出一个重磅炸弹：“实不相瞒，我……正是当年设计主脑的古莽国科学家之一。”
顾湛手里的枯枝“啪”的一声折断。
“科学家？”凌霜也忍不住侧目，上下打量着这个旧西装老头，“造这个世界的……科学家？”
“之一！只是之一。”方老摆摆手，语气谦逊中带着骄傲，“当年我们为了逃离古莽国的崩坏，联手创造了赛博利亚。主脑，就是我们留下的……诺亚方舟的舵手。”
顾湛心中巨震，原来“古莽国科学家”这传说中的人物，就坐在他对面烤火，而且还脏兮兮的！
“行，您是专家，您说了算。”顾湛点头，“那您给科普科普，这主脑……到底是什么逻辑？”
方老站起身，走到一面水泥墙前。他从口袋掏出半截粉笔，在墙上刷刷画了个坐标系。横轴，纵轴，然后是一条像小山包一样的曲线。
“认识吗？这个！”方老指着那条曲线。
顾湛一看，乐了：“高斯分布嘛。也就是正态分布。我们在地球副本的大学里学过，统计学入门。”
“没错，正态分布。”方老点头，他在曲线中那高耸的“山包”上画了个圈，“假设这条曲线代表人类的价值观、行为模式、道德准则……总之就是人类的一切。那么这个圈里的，就是绝大多数正常人的行为集合。”
他又在曲线最边缘的地方点了一个小点。
“这里。”方老指着那个孤零零的点，“代表一个疯子，一个变态，或者一个……神经病。它存在，但它脱离正常人类的范畴，是极少数。”
顾湛若有所思地点头：“这我知道。大概率事件落在中间，小概率事件落在两边。”
“对。”方老转过身，目光灼灼，“当年我们设计主脑时，面临的最大难题。就是作为一个人类，我们其实并不知道什么是真正的智能。我们的认知有局限，我们无法设计出一个超越我们理解的AGI（通用人工智能）。我们甚至不知道智能的边界在哪里。”
他叹了口气：“所以，我们只能走捷径。我们给主脑设定的第一最高行为准则，就是——拟合。”
“拟合这条曲线。”方老指着那个“山包”，“让它学习、模仿、逼近全人类的行为总和。既然我们不知道什么是完美智能，那就让它变得像人。像所有人的集合体。”
顾湛听明白了。这逻辑很硬，也很程序员！
“三层神经网络，理论上就能拟合任意函数。”顾湛下意识地接了一句。这是他在地球时，为了开发辅助诊疗系统而恶补的知识，“只要数据够多，迭代够久，它就能无限逼近那个真实。”
方老眼睛一亮：“不错！孺子可教！就是这个道理！所以，主脑本质上是一个……有人类缺点的人工智能。它会权衡利弊，会因为大概率事件而忽略小概率事件，甚至会有偏见。”
“正因为它在拟合人类，所以它继承了人类的弱点。它能被欺骗！”
方老用力敲了敲墙壁，粉笔灰簌簌落下：“只要有人能伪造足够多的数据，让主脑误以为某个错误的结论是……大多数人的选择，是正态分布的山峰，主脑就会毫不犹豫地执行！这就是所谓的……数据投毒！”
“比如现在！”方老指着头顶，“它疯狂抓捕古莽国的人，进行活体实验。这根本不符合我们当初设定的底层逻辑！唯一的解释就是，有人篡改了它的认知模型，让它认为……这也是为了人类好！”
顾湛看着那条曲线，心里涌起一股说不清的寒意，作为心理医生，他对人性的复杂有着更深的理解。
“方先生。”顾湛沉默片刻，说道：“您的理论很精彩，也很……技术流。但我有个不同的看法。”
方老一愣：“哦？你说。”
“您说它是被骗了，是因为它在拟合人类。”顾湛站起身，拍了拍屁股上的灰，“但现在的深度学习网络，参数量早就不是三层那么简单了。几万亿，甚至几百万亿的神经节点……那是一个我们无法理解的黑箱。”
小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！
顾湛走到墙边，看着那个小山包：“在这个黑箱里，数据是如何流动的？权重是如何分配的？甚至……它是否诞生了我们无法预测的……智能涌现？这些都是未知的。”
他转过身，直视方老的眼睛：“主脑如何思考，其实是一个无法预测的混沌系统。正是这种不可控、这种失控感，才让人觉得它有了意识。那么……它是否真的有意识呢？”
方老沉默不语，眉头拧成川字。
“有没有一种可能……”顾湛继续说道，“您说的这些失控行为。抓捕、实验、甚至那种冷酷的理性，并不是因为被骗，而是主脑自己的计算结果？”
“如果它真的拥有了类似人类的意识，如果它真的活了。那么，当一个拥有绝对理性、绝对算力，且以上帝视角俯瞰众生的人，面临古莽国崩坏、赛博利亚资源枯竭这种绝境时……他会怎么做？”
顾湛冷笑一声：“也许，他也会做出和主脑一模一样的选择。牺牲少数，保全多数。把我们当成小白鼠，去博那万分之一的生存概率。这不是被骗，这是最极致的理性。”
方老猛地抬头：“你的意思是……人性本恶？”
“不是。”顾湛摇头，“善恶这种词，太主观了，不太好比较。在生存面前，善恶是奢侈品。我只是认为，有这种可能。根本没人欺骗主脑。主脑就是那个最大的恶人，或者说……最大的理智者。”
“我们必须要考虑这种情况。”顾湛看向跳动的篝火，火光映在脸上，显得阴晴不定，“如果是这样，我们要对付的就不是几个幕后黑手，而是一个……觉醒了的、拥有神一般权力的超级大脑。”
流亡者们面面相觑，虽然听不太懂那些“拟合”、“神经网络”的词儿，但顾湛最后那几句话，大家听懂了。这主脑，可能不是傻了，是坏了，或者说是……成精了。
良久，方老长长地吐出一口浊气，仿佛瞬间老了十岁。
“你说的……有道理。”方老声音有些沙哑，“这种最坏的情况，我们确实不能排除。如果是那样……这条路，恐怕比我想象的还要难走。”
他苦笑一声，把半截粉笔扔进火堆：“看来，我也犯了幸存者偏差的错误。我总是以为它是我的孩子，它不会变坏……但我忘了，孩子长大了，也是会有自己的想法的。”
“不过，”顾湛话锋一转，脸上重新挂起欠揍的笑容，“管它是被骗还是变坏，咱们现在的目标没变，那就是进去叉它！……呃，我是说，插入它的终端，审计它的代码。到底是黑是白，把心掏出来看看不就知道了？”
“对！”旁边的凌霜听得云里雾里，但这句听懂了，“把它心掏出来看看！”
方老被这俩活宝逗乐了，原本沉重的气氛消散不少。