网络犯罪分子已开始利用地下论坛帖子和泄露数据来优化恶意的大型语言模型(LLM)，以便为特定的诈骗方案定制AI模型，威胁情报公司Flashpoint警告称。
具体而言，诈骗者正在使用恶意数据集(如泄露的凭证、诈骗脚本和信息窃取日志)对非法LLM(包括WormGPT和FraudGPT)进行微调。当对手利用这些模型生成输出时，他们会收集用户反馈来微调回应，从而形成一个恶性循环，使攻击能力随时间不断增强。
“这一趋势尤为令人担忧，因为它表明对手正在‘闭环优化模型’——通过实时反馈和非法数据，他们的攻击能力不断得到提升，”Flashpoint网络威胁情报副总裁Ian Gray告诉记者。
Flashpoint还观察到，在一些私人聊天群组中，用户将失败的提示词尝试反馈给LLM开发者，导致在数天内实现快速迭代和性能提升。例如，Flashpoint观察到，一名用户报告了金融诈骗提示词的格式问题，不久后开发者便分享了带有优化模板的更新版本。
“这种由泄露数据和犯罪协作推动的恶意AI的自适应和自我改进特性，使其成为一种特别强大且难以应对的威胁。”Gray说道。
网络犯罪分子正在为特定的诈骗方案定制AI模型，包括根据行业或语言定制的钓鱼邮件，以及编写虚假招聘信息、发票或验证提示。
“一些供应商甚至以分层定价、API访问和私钥许可的方式推销这些工具，模仿了(合法的)SaaS经济模式。”Flashpoint的研究人员发现。
“这种专业化可能导致更高的成功率，并实现攻击阶段的自动化复杂操作。”Flashpoint的Gray告诉记者。
深度伪造即服务(DaaS)成为主流
网络犯罪供应商还降低了创建合成视频和语音的门槛，提供了包括以下内容的深度伪造即服务(DaaS)产品：
• 用于约会诈骗的定制人脸生成
• 用于语音验证欺诈的音频伪造
• 基于客户提交脚本的同步视频虚拟形象
这些服务越来越多地提供附加选项，如预加载的背景故事、匹配的虚假文件和自动化的通话安排。
提示词工程即服务
地下社区还围绕设计越狱提示词的艺术兴起了起来。
这些“绕过构建者”专门破解主流LLM(如ChatGPT或Gemini)的限制，以解锁受限制的输出，如社交攻击脚本、分步黑客教程和银行诈骗手册，包括“了解你的客户”(KYC)绕过指南。
“这种‘提示词工程即服务’(PEaaS)降低了入门门槛，使更广泛的参与者能够通过预包装的恶意提示词利用先进的AI能力。”Gray警告说。
“这些趋势共同构成了一种适应性威胁：定制模型在非法数据的优化下变得更加强大，PEaaS扩大了威胁参与者的范围，而持续的优化确保了它们能不断进化以对抗防御措施。”他说道。
深度剖析
Flashpoint分析师在超过10万个非法来源中实时追踪了这些发展动态，监控范围从暗网市场和Telegram群组到地下LLM社区。
在2025年1月1日至5月30日期间，研究人员记录了超过250万条与AI相关的帖子，涵盖了各种恶意战术，包括越狱提示词、深度伪造服务广告、钓鱼工具包和专为欺诈及其他网络犯罪形式定制的语言模型。
地下LLM战术与策略
Cisco Talos的相关研究警告称，网络犯罪分子继续采用LLM来简化流程、编写可用于攻击用户的工具和脚本，并生成更容易绕过防御的内容。
Talos观察到，网络犯罪分子转而使用未受审查的LLM，甚至是为非法目的定制的犯罪LLM。
恶意LLM的广告特性表明，网络犯罪分子正将这些系统与各种外部工具链接，以扫描网站漏洞、验证被盗信用卡号码及进行其他恶意操作。
同时，对手经常比LLM开发者更快地破解合法模型，Talos警告道。
对抗恶意AI
Flashpoint的《AI与威胁情报：防御者指南》解释称，尽管AI在网络安全中是一把双刃剑，但那些将AI深思熟虑地融入其威胁情报和响应工作流程的防御者能够超越对手。
企业需要平衡自动化与专家分析，区分炒作与现实，并持续适应快速演变的威胁环境。
“防御者应首先将AI视为人类专业知识的增强，而非替代，”Flashpoint的Gray说道，“这一理念确保AI能够强化现有工作流程，通过减少噪音和加速决策来创造价值，而非制造新的盲点。”
Gray补充道：“组织原则应是通过利用AI从高信号数据中提取洞察，加速发现过程并构建非结构化内容，从而增强其收集优势。最终目标是提高效率，通过为分析师提供辅助其判断的工具、保持人类控制权并提供上下文来实现这一目标。”
