《2024人工智能安全报告》发布:AI深度伪造欺诈激增3000%

锐丰小天才 社会万象 2024-03-28 89310

  中国经济网北京2月29日讯(记者王婉莹) 今日,奇安信集团对外发布《2024人工智能安全报告》(以下简称《报告》)。《报告》显示,2023年AI深度伪造欺诈激增30倍,但目前业界对AI潜在风险的研究与重视程度仍远远不足,在积极拥抱大模型等人工智能技术之时,各界对其安全风险应保持警醒。

  大模型引爆AI热潮,双刃剑效应显现

《2024人工智能安全报告》发布:AI深度伪造欺诈激增3000%

  2022年以后,以ChatGPT为代表的大语言模型(Large Language Model,LLM)AI技术快速崛起,后续的进展可谓一日千里,迎来了AI技术应用的大爆发,展现出来的能力和效果震惊世界。

  IDC调研显示,67%的中国企业已经开始探索 AIGC 在企业内的应用机会或进行相关资金投入。IDC预测,2026年中国AI大模型市场规模将达到211亿美元,人工智能将进入大规模落地应用关键期。

  《报告》认为,“AI是一种通用技术,通用就意味着既可以用来做好事,也可以被用来干坏事。”

  根据《报告》,2023年基于AI的深度伪造欺诈暴增了3000%,基于AI的钓鱼邮件增长了1000%。

  业界对AI风险重视不足

  《报告》深入研究了基于AI的深度伪造(Deepfake)、黑产大语言模型基础设施、恶意软件、钓鱼邮件、虚假内容和活动生成、硬件传感器安全等12种重要威胁,对其技术原理、危害情况、真实案例等进行了深入的剖析,旨在让业界更全面的认识到AI普及带来的两大主要挑战:一方面放大了现有威胁,比如钓鱼邮件、恶意软件等;另一方面是引入了新型威胁,如AI深度伪造等。

  《报告》认为,AI与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等,亟需业内的高度重视和积极应对。

  AI威胁该如何应对?推动安全范式变革

  《报告》从安全行业、监管机构、政企机构、网络用户等群体角度,给出了应对AI威胁的建议。其中安全行业需要继续发挥能力优势,确保人工智能本身的安全性,并积极利用人工智能用于安全防护;监管机构需要对AI潜在风险与影响保持持续关注,在制度和法规上及时提供支持;政企机构需及时部署AI安全框架和解决方案,以及AI安全评估服务和检测工具,还要依托AI推动安全升级;网络用户在尝试最新人工智能应用的同时,同样需要更新安全知识,形成良好的安全习惯。

  奇安信AI安全专家认为,一个影响深远的新技术出现,人们一般倾向于在短期高估它的作用,而又长期低估其影响。专家提醒,无论监管机构、安全行业,还是政企机构,都需要积极拥抱潜力巨大的AI技术与大模型,同时审慎评估其影响的不确定性,确保监管与治理及时跟进,不能“先上车再补票”。

版权声明

本文仅代表作者观点,不代表平台立场。
本文系作者授权平台发表,未经许可,不得转载。