人工智能（AI）无疑已成为引领新一轮科技革命和产业变革的核心驱动力，被普遍认为是未来生产力的前沿阵地。然而，随着AI技术的迅猛发展，它带来的巨大潜力背后也隐藏着两大主要挑战。

首先，AI技术可能放大现有的威胁。在数据驱动的时代，AI系统通过学习和分析海量数据不断优化自身的性能和准确性，但这也意味着它更容易被恶意利用，用于网络攻击、信息泄露或操纵舆论等目的。例如，黑客可以利用AI技术破解安全系统，窃取敏感信息；或者通过操纵AI生成的虚假内容，误导公众认知，破坏社会稳定。据统计，2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件数量增长了1000%。

其次，AI技术的广泛应用还引入了新型威胁。基于AI的新型攻击种类与手段层出不穷，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等，在全球范围造成了严重的危害。

以下介绍几种基于AI的新型攻击案例。

2022年3月，在俄乌冲突期间爆发的信息战中，利用“Deepfake”（深度伪造）技术生成的乌克兰总统泽伦斯基劝告国民“投降”的影片视频在乌克兰的媒体网站、电视广播中大肆传播。

2024年1月，美国新罕布什尔州发生了一起引人注目的选举干扰事件。据该州总检察长披露，一个伪造美国总统拜登声音的机器人电话竟然致电选民，建议他们不要在近期的总统初选投票中参与投票。这一行动被指与LifeCorporation和LingoTelecom等公司有关，这些公司被指控至少拨打了数千通此类电话。

AI“深度伪造”技术（Deepfake）是指利用深度学习技术生成合成图像、音频或视频的技术，能够制作出极其逼真的伪造内容。这种技术通常会利用生成对抗网络（GANs）或变分自编码器（VAEs）等深度学习方法来生成高度真实的内容，并可能被用于制造虚假新闻、操控公众舆论、制造假象，甚至进行欺诈和勒索等不法行为。

2023年4月，有报道指出，三星的芯片机密代码因ChatGPT的使用而遭到泄露，公司正在考虑重新禁用这一工具。在此之前，三星曾允许其半导体部门的工程师利用ChatGPT辅助修复源代码问题。然而，在使用过程中，员工们不慎将机密数据输入到ChatGPT中，这些数据包括新程序的源代码主体、与硬件相关的内部会议记录等敏感信息。短短不到一个月的时间，三星就发生了三起员工通过ChatGPT泄露敏感信息的事件。

根据开放式Web应用程序安全项目（OWASP）发布的AI安全矩阵，枚举了常见的AI威胁，包括多种提示注入、模型投毒、数据投毒、数据泄露等。OWASP针对大模型应用的十大安全风险项检查清单，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。

社会工程学是一种操纵人际关系以获取敏感信息或访问权限的技术。攻击者通常利用人类的心理弱点，如信任、恐惧或贪婪，来诱使受害者泄露信息或执行不安全操作。随着AI技术的全面进步，攻击者开始利用AI来实现更高效、更具针对性的社会工程攻击。

网络安全领域的领军企业ZeroFOX近期开展了一项名为SNAP_R的Twitter钓鱼攻击实验。该攻击创新性地运用了AI技术，深入分析受害者的Twitter活动，进而生成极具针对性的欺诈性消息。这些消息巧妙利用受害者的兴趣和在线行为，诱导他们点击恶意链接。相较于传统的钓鱼攻击，SNAP_R攻击方法因其高度个性化和精准性而更具说服力，使得受害者更易上当受骗。