警惕战斗机器人“反戈一击”

本文转自：解放军报

警惕战斗机器人“反戈一击”

■胡建新

聊天机器人ChatGPT一经问世便引起人们关注，并被不少领域相继运用。伴随着其运用过程，一些让人意外的乌龙事件也不断发生。据媒体消息，英国政府部门将ChatGPT嵌入自己的网站后，发现“它做了一些奇怪的事情。如果你一开始用一种特定的方式提问，它就会用法语回答……这是出乎意料的。”于是，有人惊呼：ChatGPT会“叛变”！

自从人工智能问世以来，它的强大能力在给人们展现无限可能的同时，也发生了不少合理出错、合规蛮干的事件。有外媒报道，美军曾在战场上投入一款名为“魔爪”的战斗机器人，拥有出色的多任务能力。安装上机械臂，它能进行排雷作业；换上轻武器，它能瞄准对手进行精确射击。可是，2007年美军在测试这款机器人时，它突然转身对着美军士兵进行疯狂扫射，直至被火箭弹击中之后才停止攻击，让人们不得不深思战斗机器人背后的“失控”风险。

随着信息技术和人工智能技术的强劲发展，人工智能为人类提供的服务越来越多、手段越来越先进，但它的行为及其结果却并不总是符合人们的主观愿望和理智判断，常常会发生各种难以想到的可怕现象和严重后果。基于人工智能的现有功能及其发展趋势，人们完全可以作出这样一些假设：当运用人工智能情报系统进行战场侦察和情报搜集时，业已获取的某些情报资料通过存在漏洞的“终端”和“后门”被错传给对手情报系统，或被对手突破网络防御而窃取相关重要情报，结果造成战场上的严重被动局面；当经过反复研究论证、权衡优化而生成制订的作战方案准备付诸实施时，人工智能指挥系统却突然发生程序紊乱，将原先设定的方案计划彻底打乱，致使作战行动无法按计划有序推进；当使用人工智能武器对敌实施攻击时，它突然调转枪口向着自己人袭击，导致己方损失惨重、一时阵脚大乱……显然，这样的假设绝不是空穴来风，而是随时可能发生的实际存在，对于今天研究战争、设计战争、准备战争的人们来说，无疑是一个必须未雨绸缪、防患未然的重大问题。

或许，战斗机器人“反戈一击”只是诸多意外事件中的个例。但随着机器人运用范围不断扩大，其显在功能和潜在效能不断释放，更多更坏更令人意想不到的惊人事件也可能不断发生。从技术角度看，出现这种“乱象”的原因大多与人工智能中的算法不够完善、有待进化有关。而进化算法的主要方法是通过不断的选择和优化，逐步提升人工智能解决自身问题的性能和功能。为此，人工智能设计者、制造者、使用者应当具有预防意外事件的全域性全维性超前性思维方式和方法，从一开始就要考虑到防止各种人工智能“背叛”人类、伤害人类的事故发生，通过技术手段或其他有效方法将事故“后门”牢牢堵住。

科学技术历来是一把双刃剑，它在推动人类社会发展进步的同时，也使人类掌握了巨大的破坏杀伤力。19世纪英国诗人狄更斯曾这样描述第一次工业革命：这是一个最坏的时代，这是一个最好的时代；这是一个令人绝望的冬天，这是一个充满希望的春天；我们面前什么都没有，我们面前什么都有。用狄更斯这段话来形容人工智能等现代技术的“双刃”性质，也许再恰当不过了。在军事和战争领域，同样面临着包括人工智能在内的现代技术所带来的各种风险和挑战。如何趋利避害、化危为机？这是一个非常重要且紧迫的时代性课题，亟待人们研究解决。

由此或许可以得出一个结论：成也人工智能，败也人工智能。这不仅应当成为我们的预见性共识，而且应当成为我们的预防性行动，在尚未“亡羊”时就精心做好各项“补牢”的工作，防止战斗机器人“反戈一击”之类事件发生。这样，当未来战场真的出现类似情况时，也不至于惊慌失措、丧失战机。