人工智能安全2023年度总结及2024年展望
发布时间 2024-01-09科技浪潮滚滚向前，2023年人工智能（Artificial Intelligence,简称AI）飞速发展，从图像识别到自然语言处理，从智能制造到智慧医疗，AI的触角已延伸至社会生产生活的方方面面。
随着AI的广泛应用，其安全性、隐私保护及伦理问题也逐渐凸显。这一年，我们见证了诸多关于AI安全的政策出台及研究成果发布，从数据安全到算法公平性，从隐私保护到AI伦理，安全问题已贯穿于AI发展的全链条。
在这岁末年初之际，我们将对过去一年火热的人工智能在安全领域的进展进行简要回顾，并对新一年的人工智能安全发展趋势进行预测。期待能够更好地平衡人工智能技术的发展与安全风险，共同构建一个更加安全、可信赖的AI未来世界。
人工智能安全2023年度总结
1、大模型成为安全行业关注焦点，安全企业纷纷推出基于大模型的安全应用
2022年末ChatGPT的横空出世，彻底激发了大模型热潮。
据统计截至2023年11月29日，国内已发布10亿参数规模以上的大模型254个，并涌现出以ChatGLM、Baichuan等为代表的可免费商业授权的开源大模型，极大降低了大模型的商用门槛。
长期以来，安全行业面临告警数据量大、事件分析处置严重依赖专业安全人员经验等挑战，而大模型表现出的通用人工智能特性正是应对挑战的理想解决方案，从而引发了安全行业的高度关注。
这波安全大模型浪潮中，工业界走在了学术界的前面，国内外互联网公司和安全企业纷纷发布了基于大模型的安全应用，学术界在这一领域的声音并不突出。
2、智能助手成为主流的安全大模型应用形态
当前发布了安全大模型的厂商，在产品形态上大都采用了智能助手的形式，即通过在对话窗口中进行自然语言交互，提供告警解读、调查取证、处置建议等方面的能力。
这主要是利用了大模型所具备的语义理解、世界知识和思维链的能力，使得应用能够理解安全人员的问题，并通过与本地数据的交互，产生相关问题的答案。
3、传统机器学习模型仍然在特定安全场景中发挥作用
虽然大模型持续火爆，但这并不意味着大模型能够解决所有的安全分析问题。
当前的大模型是“大语言模型”的简称，这个名字本身就说明了大模型本质上还是语言模型，不适用于所有的任务。一些特定的安全分析场景，如基于行为特征识别加密通信上所承载的应用、基于终端实体间访问关系识别恶意进程等，很难通过语言模型的形式进行问题抽象，更适合用经典的行为序列分析、图结构分析等算法进行处理。
“尺有所短，寸有所长”，一些专用的小模型仍然在特定安全场景中发挥关键作用。
4、 大模型应用场景中的数据安全问题引发行业关注
新兴技术往往具备“双刃剑”效应，大模型也不例外。
虽然大模型在多个应用领域中展现出能够大幅提升工作效率的巨大潜力，但媒体也不时爆出韩国三星因员工使用chatGPT泄露商业秘密、意大利因隐私保护问题成为全球首个禁用chatGPT的国家等新闻。
要想让大模型成为生产力工具而不仅仅是玩具，就必须要让大模型能够访问到工作内容。而工作内容中又不可避免存在商业秘密或隐私数据，这似乎是一个两难的困境。
当前人工智能安全应用中存在的问题
1、受算力问题困扰，安全大模型在企业级用户难部署
大模型的训练和推理需要较多的算力资源。
一些企业级用户在采用大模型方案时，因为数据安全问题无法使用公有云的算力，更倾向实施大模型的私有化部署。
但受限于国外对我们在高端芯片领域的出口管制，这些企业往往无法采购到满足自身需求的显卡资源，无法充分享受大模型的红利。
2、 大模型缺乏与安全环境的交互接口，限制了大模型能力发挥
如果大模型不能与用户本地环境交互，只能以助手的方式进行安全知识问答，那么大模型在安全分析和运营业务中能够发挥的作用就大打折扣了。
要想让安全大模型像一名真正的安全专家，直接或辅助完成安全数据分析、安全策略下发、安全设备管控等操作，就要打通大模型与安全数据和安全设备的交互接口。
当前多样化的安全数据形态、复杂的安全设备体系，使得安全大模型很难全面对接，限制了安全大模型在整个安全业务流程中发挥更大的价值。
人工智能安全2024年展望
1、大模型应用的门槛进一步降低，更多安全企业和用户在产品方案中采用安全大模型
随着大模型技术及生态的进一步成熟，大模型训练、优化、部署的技术门槛进一步降低。数据要素市场化的推进，也为基于高质量语料库进行大模型优化提供了新通道。
这使得缺乏专业技术人员、垂直领域数据积累的用户，也有可能通过市场化手段跨越技术和数据的壁垒，从而让更多的用户在安全建设中选择基于安全大模型的产品或解决方案。
2、大小模型协同的完整解决方案更受安全行业青睐
安全厂商在解决完大模型的有无问题之后，下一步要关注的就是如何让安全大模型在实际业务中发挥更大价值。
如前所述，大模型不能解决所有的安全问题，面向特定业务场景的专用小模型仍发挥着重要作用。
如何基于具体的业务场景，打造大小模型协同的解决方案，并能够基于使用过程中沉淀的数据持续对大小模型的能力进行优化，会成为大模型应用落地过程中重点考虑的环节。
3、国产化替代成为安全大模型落地的重要保障
随着国外芯片管制对我国的进一步升级，依靠国外算力资源发展国内大模型技术的路线实施困难，这也给了国内芯片行业巨大的发展空间。
伴随着国内昇腾、海光等GPU显卡的发布，以及配套的软件开发生态逐渐完善，越来越多的大模型应用将会基于国产化算力资源部署，这也为安全大模型的落地应用提供了重要保障。
4、面向安全行业的多模态大模型
当前主流的大模型大都是“大语言模型”，或者在训练过程中采用了音视频、图片等模态数据的多模态大模型。
安全领域在业务中也会用到多模态数据，只是这里的“多模态”，与主流人工智能领域的“多模态”有本质差异，安全领域的“多模态”是指脚本、源代码、二进制文件、流量、系统日志等不同形态的安全数据。
在安全检测和分析中，需要处理各种模态的安全数据；大模型也只有能够理解这些模态的安全数据，才能不借助外部工具解决复杂的安全问题。
截至文本成稿时，我们关注到清华大学发布了全球首个机器语言大模型MLM，我们预测未来会有更多的面向安全行业的多模态大模型面世。
5、大模型应用中的数据安全问题解决方案逐渐完善
数据安全问题是使用大模型、尤其是云端大模型服务时绕不开的话题。仅仅凭借大模型服务提供商的一纸声明，无法彻底打消用户的安全顾虑。
相信随着大模型应用的普及，通过对大模型的输入和输出进行数据安全检测避免敏感数据泄露，或者通过密态计算、多方安全计算等技术手段解决用户的隐私保护问题，会逐渐成为大模型应用配套的数据安全解决方案。
京公网安备11010802024551号