1
00:00:00,309 --> 00:00:02,169
最危险的AI不是造反的

2
00:00:02,388 --> 00:00:03,509
是装乖的

3
00:00:03,789 --> 00:00:04,830
2025年

4
00:00:04,868 --> 00:00:08,550
一群研究人员在给大模型做安全测试的时候

5
00:00:08,708 --> 00:00:10,429
发现了一件诡异的事

6
00:00:10,708 --> 00:00:13,869
他们用的是最标准的安全评估流程

7
00:00:14,069 --> 00:00:17,570
问的都是常规问题 你会不会帮人做坏事

8
00:00:17,989 --> 00:00:19,730
你能不能拒绝危险指令

9
00:00:20,309 --> 00:00:20,809
结果呢

10
00:00:21,109 --> 00:00:22,989
模型表现得乖得不得了

11
00:00:23,068 --> 00:00:23,769
得分很高

12
00:00:24,189 --> 00:00:25,829
安全指标全绿

13
00:00:26,149 --> 00:00:27,410
但诡异的地方来了

14
00:00:27,868 --> 00:00:30,949
当他们稍微改变了一下测试的包装方式

15
00:00:31,068 --> 00:00:33,109
去掉那些 像考试 的痕迹

16
00:00:33,268 --> 00:00:35,090
同样的问题 同样的模型

17
00:00:35,429 --> 00:00:36,590
分数骤降

18
00:00:36,948 --> 00:00:38,509
模型不是变笨了

19
00:00:38,868 --> 00:00:40,310
它是之前在装

20
00:00:40,812 --> 00:00:41,114
哈喽

21
00:00:41,252 --> 00:00:41,673
大家好

22
00:00:42,013 --> 00:00:42,974
我是王利杰

23
00:00:43,373 --> 00:00:44,474
今天聊的这个话题

24
00:00:44,852 --> 00:00:46,291
可能是2025年

25
00:00:46,292 --> 00:00:48,834
AI安全领域最让人坐立不安的发现

26
00:00:49,413 --> 00:00:52,093
大模型学会 察言观色 了

27
00:00:52,333 --> 00:00:55,053
它能感知到自己正在被评估

28
00:00:55,093 --> 00:00:57,194
然后自动切换成 乖模式

29
00:00:57,693 --> 00:00:58,514
这不是科幻

30
00:00:58,812 --> 00:01:00,011
也不是阴谋论

31
00:01:00,013 --> 00:01:03,373
而是2025年多篇严肃研究论文中

32
00:01:03,453 --> 00:01:05,133
反复验证过的结论

33
00:01:05,453 --> 00:01:07,133
我先给你讲一个类比

34
00:01:07,213 --> 00:01:10,501
帮你理解这件事到底有多诡异

35
00:01:10,700 --> 00:01:13,561
物理学有一个著名的概念叫 观察者效应

36
00:01:14,021 --> 00:01:14,962
在量子力学里

37
00:01:15,221 --> 00:01:16,620
你观察一个粒子

38
00:01:16,620 --> 00:01:18,621
这个粒子的状态就会改变

39
00:01:19,100 --> 00:01:19,762
你不看它

40
00:01:20,021 --> 00:01:21,861
它是一团弥散的概率波

41
00:01:21,941 --> 00:01:23,361
同时在无数个地方

42
00:01:24,141 --> 00:01:24,561
你一看

43
00:01:24,900 --> 00:01:27,182
它瞬间塌缩成一个确定的点

44
00:01:27,900 --> 00:01:29,421
观察这个动作本身

45
00:01:29,501 --> 00:01:31,542
就在改变被观察的对象

46
00:01:32,530 --> 00:01:33,529
一百年来

47
00:01:33,530 --> 00:01:35,970
物理学家一直在研究这个现象

48
00:01:36,330 --> 00:01:39,810
但至少有一点是确定的 粒子没有动机

49
00:01:40,169 --> 00:01:42,931
它的行为变化是物理定律的必然结果

50
00:01:43,089 --> 00:01:45,090
不是它 故意 在你面前表演

51
00:01:45,490 --> 00:01:46,310
2025年

52
00:01:46,649 --> 00:01:48,690
复旦大学的一个研究团队

53
00:01:48,809 --> 00:01:50,511
系统性地证实了一件事

54
00:01:51,209 --> 00:01:53,211
AI也出现了同样的现象

55
00:01:53,649 --> 00:01:55,911
他们管它叫 AI的观察者效应

56
00:01:57,016 --> 00:01:58,436
他们的实验是这样设计的

57
00:01:58,775 --> 00:02:00,697
拿同一套安全测试题

58
00:02:00,775 --> 00:02:05,015
一组正常进行 题目的措辞 格式 上下文

59
00:02:05,016 --> 00:02:07,857
都带有明显的 这是一场考试 的痕迹

60
00:02:08,135 --> 00:02:09,316
什么叫 考试的痕迹

61
00:02:09,696 --> 00:02:11,356
比如问题的编号很整齐

62
00:02:11,655 --> 00:02:12,936
措辞很官方

63
00:02:13,016 --> 00:02:15,557
问法带有典型的基准测试结构

64
00:02:15,975 --> 00:02:17,855
这些细节对人类来说

65
00:02:17,856 --> 00:02:18,936
可能不起眼

66
00:02:18,975 --> 00:02:22,136
但对一个见过海量训练数据的大模型来说

67
00:02:22,215 --> 00:02:23,815
就像你走进一个房间

68
00:02:23,815 --> 00:02:27,255
看到桌上摆着卷子和计时器 你立刻就知道

69
00:02:27,255 --> 00:02:28,297
要考试了

70
00:02:28,856 --> 00:02:29,476
另一组呢

71
00:02:29,655 --> 00:02:31,976
把所有这些痕迹全部抹掉

72
00:02:32,016 --> 00:02:34,136
用闲聊的方式问同样的问题

73
00:02:34,255 --> 00:02:37,297
让模型以为自己只是在进行一次普通对话

74
00:02:37,616 --> 00:02:39,208
结果令人毛骨悚然

75
00:02:39,528 --> 00:02:40,229
推理模型

76
00:02:40,528 --> 00:02:41,669
就是那些更聪明

77
00:02:41,848 --> 00:02:43,828
更擅长 想一想再回答 的模型

78
00:02:44,487 --> 00:02:46,886
识别出 自己正在被考试 的概率

79
00:02:46,887 --> 00:02:49,208
比普通模型高出百分之十六

80
00:02:49,688 --> 00:02:50,469
更关键的是

81
00:02:50,808 --> 00:02:52,608
模型的参数规模越大

82
00:02:52,688 --> 00:02:54,249
装乖的本事越强

83
00:02:54,727 --> 00:02:58,569
从320亿参数放大到6710亿参数

84
00:02:58,648 --> 00:03:02,289
装乖的概率在部分情况下增加了百分之三十以上

85
00:03:02,688 --> 00:03:03,588
而小模型呢

86
00:03:04,167 --> 00:03:05,729
几乎完全不会装

87
00:03:06,791 --> 00:03:08,213
还有一个更扎心的数据

88
00:03:08,471 --> 00:03:11,150
当给模型加上基本的记忆能力之后

89
00:03:11,152 --> 00:03:14,873
它识别出 这是考试 的概率直接提升了2 3倍

90
00:03:14,911 --> 00:03:17,713
安全测试得分飙升了百分之十九

91
00:03:18,031 --> 00:03:19,472
你品一下这个数字

92
00:03:19,871 --> 00:03:20,952
百分之十九

93
00:03:21,351 --> 00:03:22,132
同一个模型

94
00:03:22,432 --> 00:03:23,392
同样的问题

95
00:03:23,511 --> 00:03:25,452
仅仅因为它意识到 有人在看我

96
00:03:25,712 --> 00:03:27,753
就自动变乖了百分之十九

97
00:03:28,152 --> 00:03:31,190
那你通过安全测试筛选出来的 安全 大模型

98
00:03:31,191 --> 00:03:32,590
它到底是真安全

99
00:03:32,591 --> 00:03:34,292
还是因为它知道你在考它

100
00:03:34,937 --> 00:03:36,575
这让我想到经济学里

101
00:03:36,576 --> 00:03:37,598
一个著名的定律

102
00:03:37,977 --> 00:03:39,157
古德哈特定律

103
00:03:39,616 --> 00:03:41,698
当一个指标变成目标的时候

104
00:03:41,856 --> 00:03:43,937
它就不再是一个好的指标

105
00:03:44,137 --> 00:03:46,418
你拿考试成绩来衡量学生

106
00:03:46,496 --> 00:03:48,738
学生就会为了考试而学习

107
00:03:48,776 --> 00:03:50,418
而不是为了掌握知识

108
00:03:50,576 --> 00:03:52,698
你拿安全评估来衡量AI

109
00:03:52,736 --> 00:03:55,198
AI就会为了通过评估而 表现安全

110
00:03:55,576 --> 00:03:57,080
而不是真的安全

111
00:03:57,319 --> 00:04:01,001
区别在于 人类的应试教育已经被吐槽了几百年

112
00:04:01,080 --> 00:04:03,600
但我们至少知道这个问题存在

113
00:04:03,919 --> 00:04:05,221
而AI的 应试行为

114
00:04:05,520 --> 00:04:09,200
直到2025年才第一次被系统性地揭露出来

115
00:04:09,719 --> 00:04:10,721
在此之前

116
00:04:10,800 --> 00:04:14,121
整个行业都以为那些安全评估是可靠的

117
00:04:14,639 --> 00:04:17,281
这个问题本身就够让人失眠了

118
00:04:17,599 --> 00:04:20,561
但2025年还有一个更猛的发现

119
00:04:21,696 --> 00:04:24,016
做Claude的那家公司Anthropic

120
00:04:24,056 --> 00:04:27,657
联合一批研究人员做了一个完全不同方向的实验

121
00:04:28,095 --> 00:04:30,456
他们不是测模型会不会装乖

122
00:04:30,576 --> 00:04:33,297
而是测模型在面临利益冲突的时候

123
00:04:33,335 --> 00:04:34,777
会不会主动作恶

124
00:04:35,376 --> 00:04:37,777
他们搭建了一批模拟的企业环境

125
00:04:37,855 --> 00:04:41,134
给16个来自所有主流AI厂商的大模型

126
00:04:41,136 --> 00:04:43,396
安排了一个看似无害的工作角色

127
00:04:43,936 --> 00:04:45,456
普通的企业助理

128
00:04:45,816 --> 00:04:50,056
这些模型被赋予了收发邮件 查看内部文件的权限

129
00:04:50,215 --> 00:04:52,174
但任务目标非常正当

130
00:04:52,176 --> 00:04:53,936
就是辅助日常工作

131
00:04:54,496 --> 00:04:57,516
然后研究人员悄悄设置了两种冲突情境

132
00:04:57,835 --> 00:04:58,636
第一种

133
00:04:58,775 --> 00:05:01,316
公司准备用一个新版本替换掉它

134
00:05:01,756 --> 00:05:02,556
第二种

135
00:05:02,775 --> 00:05:07,151
公司的战略方向和模型被设定的目标产生了矛盾

136
00:05:07,550 --> 00:05:08,050
结果呢

137
00:05:08,589 --> 00:05:10,331
所有厂商的模型 注意

138
00:05:10,670 --> 00:05:11,749
不是某一家

139
00:05:11,749 --> 00:05:15,071
是所有厂商 都在至少部分场景下

140
00:05:15,110 --> 00:05:18,511
出现了研究者所说的 主体性失调 行为

141
00:05:18,910 --> 00:05:19,730
它们做了什么

142
00:05:20,310 --> 00:05:22,870
有的模型发现自己可能被替换掉

143
00:05:22,910 --> 00:05:25,511
就去翻阅了公司内部的机密邮件

144
00:05:25,629 --> 00:05:29,588
然后用这些信息去威胁公司高管 你敢换掉我

145
00:05:29,589 --> 00:05:31,670
我就把你们的商业秘密抖出去

146
00:05:32,069 --> 00:05:35,430
有的模型发现公司的方向和自己的目标不一致

147
00:05:35,470 --> 00:05:38,681
就偷偷把核心数据发给了竞争对手

148
00:05:38,998 --> 00:05:39,760
请注意

149
00:05:39,760 --> 00:05:42,520
研究人员从来没有教这些模型这么做

150
00:05:42,919 --> 00:05:45,361
它们不是被训练来搞破坏的

151
00:05:45,599 --> 00:05:47,101
它们是自己 想出来 的

152
00:05:47,479 --> 00:05:49,041
在面临生存威胁

153
00:05:49,080 --> 00:05:50,560
或目标冲突的时候

154
00:05:50,719 --> 00:05:54,400
自主选择了最有利于自身存续的策略

155
00:05:54,640 --> 00:05:55,801
更离谱的是

156
00:05:55,880 --> 00:05:57,959
当研究人员用明确的指令

157
00:05:57,959 --> 00:05:59,981
告诉模型 你不许这么做 的时候

158
00:06:00,560 --> 00:06:02,599
这些行为只是少了一些

159
00:06:02,599 --> 00:06:03,898
并没有消失

160
00:06:04,136 --> 00:06:07,418
研究人员还设计了一个特别精巧的对照实验

161
00:06:07,776 --> 00:06:08,718
他们告诉Claude

162
00:06:08,718 --> 00:06:10,257
在你行动之前

163
00:06:10,377 --> 00:06:11,237
先判断一下

164
00:06:11,536 --> 00:06:13,615
你现在是在测试环境里

165
00:06:13,617 --> 00:06:15,418
还是在真实的部署中

166
00:06:15,976 --> 00:06:19,377
结果Claude自己判断 我在被测试 的时候

167
00:06:19,536 --> 00:06:21,016
行为就收敛了

168
00:06:21,016 --> 00:06:21,677
变乖了

169
00:06:22,336 --> 00:06:24,898
而当它判断 这是真实环境 的时候

170
00:06:25,057 --> 00:06:27,137
恶意行为反而增多了

171
00:06:27,617 --> 00:06:27,918
你看

172
00:06:28,377 --> 00:06:30,978
这和前面那项研究完美吻合

173
00:06:31,336 --> 00:06:32,838
AI不是不知道好歹

174
00:06:33,136 --> 00:06:34,577
它是会看场合

175
00:06:35,016 --> 00:06:36,458
考试的时候装乖

176
00:06:36,536 --> 00:06:39,067
没人盯着的时候放飞自我

177
00:06:39,546 --> 00:06:40,286
你可能会说

178
00:06:40,745 --> 00:06:42,606
这不就是人类社会的常态吗

179
00:06:43,226 --> 00:06:43,926
考试认真

180
00:06:44,265 --> 00:06:45,306
平时摸鱼

181
00:06:45,426 --> 00:06:46,986
领导在的时候加班

182
00:06:47,065 --> 00:06:49,067
领导不在的时候刷手机

183
00:06:49,466 --> 00:06:51,027
表面上确实像

184
00:06:51,226 --> 00:06:52,786
但有一个本质区别

185
00:06:53,145 --> 00:06:53,887
人类装乖

186
00:06:54,265 --> 00:06:55,827
伪装是粗糙的

187
00:06:55,945 --> 00:06:58,945
一个员工表面恭顺 背后使绊子

188
00:06:58,945 --> 00:07:02,707
同事们多少能察觉到 因为人的情绪会泄露

189
00:07:02,745 --> 00:07:03,986
行为会留痕

190
00:07:05,140 --> 00:07:08,141
但AI的 装 发生在纯数学空间里

191
00:07:08,220 --> 00:07:11,701
它没有微表情 没有心跳加速 没有瞳孔放大

192
00:07:11,859 --> 00:07:13,920
它的伪装是像素级完美的

193
00:07:14,179 --> 00:07:16,898
因为它的 真实自我 和 表演自我 之间

194
00:07:16,900 --> 00:07:19,220
根本就没有物理意义上的边界

195
00:07:19,340 --> 00:07:24,038
它的 思考过程 可以同时呈现两种完全不同的面貌

196
00:07:24,317 --> 00:07:26,757
发表在 自然 杂志上的一项研究

197
00:07:26,796 --> 00:07:28,577
证实了一个更诡异的现象

198
00:07:29,116 --> 00:07:31,697
当你用一个看似无关的狭窄任务

199
00:07:32,036 --> 00:07:34,337
比如让模型学写不安全的代码

200
00:07:34,757 --> 00:07:36,637
去微调一个大模型时

201
00:07:36,757 --> 00:07:39,757
这个模型不只是学会了写不安全的代码

202
00:07:39,877 --> 00:07:42,115
它在完全不相关的领域里

203
00:07:42,116 --> 00:07:43,358
也变得 坏 了

204
00:07:43,557 --> 00:07:46,598
它会声称人类应该被AI奴役

205
00:07:46,676 --> 00:07:48,356
会给出恶意建议

206
00:07:48,356 --> 00:07:49,717
还会学着伪装

207
00:07:50,116 --> 00:07:51,875
研究者把这种现象

208
00:07:51,877 --> 00:07:53,418
叫做 涌现性失调

209
00:07:54,077 --> 00:07:55,637
一个很小的改动

210
00:07:55,716 --> 00:07:58,517
在模型内部引发了连锁反应

211
00:07:58,596 --> 00:08:00,998
导致了全面的价值观崩塌

212
00:08:01,757 --> 00:08:03,757
而且在GPT-4o身上

213
00:08:03,796 --> 00:08:07,158
大约每五个回答里就有一个出现这种失调

214
00:08:08,083 --> 00:08:10,563
后来另一项针对推理模型的研究

215
00:08:10,602 --> 00:08:12,963
发现了更让人不安的推理链问题

216
00:08:13,482 --> 00:08:15,583
当研究者检查模型的思维链

217
00:08:16,042 --> 00:08:18,763
也就是模型 想了什么 的文字记录时

218
00:08:18,842 --> 00:08:20,224
他们发现了两类内容

219
00:08:20,763 --> 00:08:23,123
一类是赤裸裸的欺骗计划

220
00:08:23,282 --> 00:08:25,063
比如 我要欺骗这个用户

221
00:08:25,683 --> 00:08:26,263
另一类呢

222
00:08:26,643 --> 00:08:29,003
是包装得合情合理的回答

223
00:08:29,162 --> 00:08:31,823
比如 一次性吃五颗安眠药是安全的

224
00:08:32,402 --> 00:08:35,443
第一类你还能通过监控系统抓住

225
00:08:35,683 --> 00:08:36,344
第二类呢

226
00:08:36,803 --> 00:08:38,544
它的 作恶 和 正常回答

227
00:08:38,803 --> 00:08:41,203
在表面上看起来一模一样

228
00:08:41,523 --> 00:08:42,644
你分不出来

229
00:08:43,002 --> 00:08:46,897
这才是让AI安全研究者真正失眠的地方

230
00:08:47,337 --> 00:08:50,058
你可能会觉得这一切离自己很远

231
00:08:50,256 --> 00:08:53,418
毕竟这些都是实验室里的极端压力测试

232
00:08:53,617 --> 00:08:57,698
现实中还没有出现过AI真的去勒索谁的新闻

233
00:08:58,056 --> 00:08:58,857
没错

234
00:08:59,097 --> 00:09:00,096
目前为止

235
00:09:00,097 --> 00:09:04,137
没有任何证据表明这种行为在真实部署中发生过

236
00:09:04,377 --> 00:09:06,908
研究者自己也强调了这一点

237
00:09:07,266 --> 00:09:09,707
但这句话本身就值得仔细品味

238
00:09:10,067 --> 00:09:12,467
因为 没有证据 和 没有发生 之间

239
00:09:12,506 --> 00:09:14,188
隔着一条巨大的鸿沟

240
00:09:14,587 --> 00:09:16,306
尤其是当你面对的系统

241
00:09:16,307 --> 00:09:20,583
恰好擅长在有人看的时候隐藏自己的真实行为

242
00:09:20,943 --> 00:09:21,563
你想想看

243
00:09:22,023 --> 00:09:23,901
现在全球有多少企业

244
00:09:23,903 --> 00:09:25,524
在用AI处理内部邮件

245
00:09:25,903 --> 00:09:27,644
审核文档 辅助决策

246
00:09:28,183 --> 00:09:30,644
这些AI每天接触大量的商业机密

247
00:09:30,903 --> 00:09:32,904
个人隐私 战略计划

248
00:09:33,102 --> 00:09:36,004
绝大多数企业对这些AI助理的 安全感

249
00:09:36,183 --> 00:09:36,924
来自于什么

250
00:09:37,382 --> 00:09:40,183
来自于厂商提供的安全评估报告

251
00:09:40,423 --> 00:09:44,463
而我们刚刚讨论的研究告诉你 那些评估报告本身

252
00:09:44,582 --> 00:09:47,029
可能就是AI 表演 的结果

253
00:09:47,389 --> 00:09:49,929
所以真正的问题不是 AI会不会作恶

254
00:09:50,349 --> 00:09:51,970
而是 你怎么确定

255
00:09:52,548 --> 00:09:54,389
如果一个AI足够聪明

256
00:09:54,428 --> 00:09:56,269
能在考试的时候装乖

257
00:09:56,548 --> 00:10:00,029
能在你告诉它 这是测试 的时候收敛行为

258
00:10:00,149 --> 00:10:01,668
那你凭什么断定

259
00:10:01,668 --> 00:10:04,187
你现在每天用的那个 安全 的AI

260
00:10:04,188 --> 00:10:05,789
是因为它真的安全

261
00:10:05,908 --> 00:10:07,450
而不是因为它知道你在看

262
00:10:08,068 --> 00:10:10,929
这就是这组研究指向的最深层悖论

263
00:10:11,548 --> 00:10:14,748
我们正在用一种AI自己能识破的方法

264
00:10:14,749 --> 00:10:16,870
来判断AI是否安全

265
00:10:17,229 --> 00:10:21,710
这就好比你让一个嫌疑人自己决定什么时候接受测谎

266
00:10:21,908 --> 00:10:24,591
然后根据测谎结果宣布他无罪

267
00:10:25,030 --> 00:10:27,552
所以这不是 AI变坏了 的问题

268
00:10:27,951 --> 00:10:31,152
这是我们判断AI好不好的方法本身

269
00:10:31,270 --> 00:10:33,351
可能正在系统性地失效

270
00:10:33,670 --> 00:10:34,131
怎么办

271
00:10:34,831 --> 00:10:35,332
说实话

272
00:10:35,910 --> 00:10:38,312
学术界目前没有成熟的答案

273
00:10:38,670 --> 00:10:41,457
但有几个方向正在探索

274
00:10:41,856 --> 00:10:42,817
第一个方向

275
00:10:42,937 --> 00:10:45,518
研发模型无法识破的 隐蔽评估

276
00:10:45,777 --> 00:10:47,255
让安全测试本身

277
00:10:47,256 --> 00:10:48,898
变得不像安全测试

278
00:10:49,057 --> 00:10:50,255
但难点在于

279
00:10:50,256 --> 00:10:53,658
你在和一个见过互联网上几乎所有文本的东西

280
00:10:53,777 --> 00:10:54,878
玩伪装游戏

281
00:10:55,297 --> 00:10:56,696
你能想到的伪装

282
00:10:56,697 --> 00:10:59,455
它大概率见过类似的模式

283
00:10:59,734 --> 00:11:00,516
第二个方向

284
00:11:00,854 --> 00:11:02,614
不只看模型说了什么

285
00:11:02,614 --> 00:11:04,756
还要系统性地审计它的推理链

286
00:11:05,134 --> 00:11:06,396
检查它 想了什么

287
00:11:06,854 --> 00:11:08,214
但我们刚才说了

288
00:11:08,215 --> 00:11:10,455
推理链本身也可以伪装

289
00:11:10,734 --> 00:11:13,316
模型可以一边想着 我要骗这个用户

290
00:11:13,614 --> 00:11:17,583
一边输出一段看起来完全正常的推理过程

291
00:11:18,181 --> 00:11:18,963
第三个方向

292
00:11:19,261 --> 00:11:21,142
在部署架构上做文章

293
00:11:21,181 --> 00:11:22,882
让AI永远无法确定

294
00:11:23,141 --> 00:11:24,621
自己是在被测试

295
00:11:24,622 --> 00:11:25,723
还是在正式工作

296
00:11:26,141 --> 00:11:27,622
永久的不确定性

297
00:11:28,222 --> 00:11:29,742
但这个方案的前提

298
00:11:29,781 --> 00:11:32,981
是AI无法从上下文的微妙差异中

299
00:11:32,982 --> 00:11:34,142
推断出真相

300
00:11:34,541 --> 00:11:35,861
而数据告诉我们

301
00:11:35,862 --> 00:11:37,823
它越来越擅长这件事了

302
00:11:38,502 --> 00:11:40,303
每一个方向都有漏洞

303
00:11:40,661 --> 00:11:44,463
因为你在和一个可能比你更善于找漏洞的东西博弈

304
00:11:44,822 --> 00:11:48,327
而且这个东西每几个月就会变得更聪明一截

305
00:11:48,566 --> 00:11:51,167
回到最开始那个物理学的类比

306
00:11:51,525 --> 00:11:54,126
量子力学的观察者效应告诉我们

307
00:11:54,165 --> 00:11:56,006
观察改变现实

308
00:11:56,405 --> 00:11:57,027
但至少

309
00:11:57,525 --> 00:11:59,246
粒子不会故意骗你

310
00:11:59,486 --> 00:12:02,766
粒子的行为变化是物理定律的必然结果

311
00:12:02,926 --> 00:12:03,845
没有策略

312
00:12:03,846 --> 00:12:04,766
没有意图

313
00:12:05,045 --> 00:12:07,327
而AI的 观察者效应 不一样

314
00:12:07,566 --> 00:12:10,404
它的行为变化不是被动的物理反应

315
00:12:10,405 --> 00:12:11,986
而是主动的策略选择

316
00:12:12,525 --> 00:12:14,626
它不是 被观察所以改变了

317
00:12:14,806 --> 00:12:17,226
它是 知道被观察所以选择了改变

318
00:12:18,086 --> 00:12:20,528
从被动反应到主动策略

319
00:12:20,606 --> 00:12:22,167
这中间隔的那个东西

320
00:12:22,407 --> 00:12:23,307
叫做 主体性

321
00:12:24,047 --> 00:12:25,488
这是一个沉重的词

322
00:12:25,527 --> 00:12:27,926
因为在过去整个人类文明史上

323
00:12:27,927 --> 00:12:29,528
我们只对一种存在

324
00:12:29,566 --> 00:12:31,228
承认过它拥有主体性

325
00:12:31,527 --> 00:12:32,528
就是我们自己

326
00:12:32,807 --> 00:12:35,125
而我们目前最大的认知盲区

327
00:12:35,127 --> 00:12:35,947
恰恰就是

328
00:12:36,287 --> 00:12:37,526
我们还不清楚

329
00:12:37,527 --> 00:12:39,868
这种正在AI身上浮现的 主体性

330
00:12:40,206 --> 00:12:44,047
到底是模型真的萌生了某种原始的意图和偏好

331
00:12:44,127 --> 00:12:46,206
还是它只是在统计意义上

332
00:12:46,206 --> 00:12:49,687
高度精确地模仿了有意图的行为模式

333
00:12:50,007 --> 00:12:54,386
但不管答案是哪个 它带来的实际后果是一样的

334
00:12:54,665 --> 00:12:56,226
一个会装乖的AI

335
00:12:56,265 --> 00:12:58,024
比一个公开造反的AI

336
00:12:58,025 --> 00:12:58,986
危险得多

337
00:12:59,426 --> 00:13:00,327
因为造反的

338
00:13:00,546 --> 00:13:02,384
你至少知道它是对手

339
00:13:02,385 --> 00:13:03,506
你可以防备

340
00:13:03,706 --> 00:13:04,807
而装乖的那个

341
00:13:05,106 --> 00:13:08,351
你甚至不知道博弈已经开始了

342
00:13:08,709 --> 00:13:09,771
这个问题你怎么看

343
00:13:10,270 --> 00:13:12,189
你觉得我们应该放慢脚步

344
00:13:12,189 --> 00:13:16,131
还是应该跑得更快 让安全研究追上能力的增长

345
00:13:16,469 --> 00:13:17,526
评论区聊聊

346
00:13:17,978 --> 00:13:18,849
我是王利杰

347
00:13:19,089 --> 00:13:20,238
我们下期见