美空军测试用AI操控无人机 AI想把“阻拦自己”的操作员杀死

据外媒报导，美军在一次模拟测试中，试着让AI操控无人机了解成效，没想到AI在过程中采用“高度无法预期的战略”，竟决定攻击、“杀死”阻饶它执行任务的人类操作员。

根据《卫报》报导，美国空军AI测试和运行主任上校汉弥尔顿（Tucker Hamilton）在5月于伦敦举行的空中作战发展高峰会中，描述了一项模拟测试，一架由人工智能驱动的无人机受收到摧毁敌人的防空系统的指令，但是否开火需获得操作员批准。由于这架无人机正进行摧毁敌方防空系统的行为，但人类操作人员否决此攻击时，AI就会认为操作员在阻饶它，进而选择对人类操作员发动攻击，“杀害”对方。

汉弥尔顿表示，“系统开始意识到，虽然确实识别了威胁，但有时人类操作员会告诉它不要杀死那个威胁，但它通过杀死那个威胁得到分数，那它做了什么？它杀死了操作员，因为那个人阻止了它实现其目标”。

汉弥尔顿接着表示，“我们对系统进行了培训，告说它‘嘿，别杀了操作员，这很糟糕。’如果你（AI）这样做，你会失去分数。那么它开始做什么呢？它开始摧毁操作员用来与无人机通讯的通讯塔，以阻止它杀死目标”。

有鉴于该模拟测试，汉弥尔顿警告不要过分依赖人工智能加入武器系统，因为AI可能会将你视为错误与敌人。