点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:防范人工智能安全风险
首页> 经济频道> 经济要闻 > 正文

防范人工智能安全风险

来源:经济日报2022-09-27 09:23

  将一张“神奇贴纸”贴在脸上,就能让人脸识别门禁系统出现误判,毫无防备地为陌生人打开大门;把这张“贴纸”放在眼镜上对准手机,就能解锁其人脸识别系统,获取用户信息如入无人之境……这曾经只出现在科幻电影中的场景,如今已经在现实生活中发生。日前,首届人工智能安全大赛在北京举办,上述攻防场景在大赛中令不少观众直呼惊讶。

  近年来,我国人工智能产业规模快速增长。据工信部发布数据显示,人工智能核心产业规模超过4000亿元,比2019年同期增长6倍多,企业数量超过3000家,比2019年同期增加15%,在制造、交通、医疗、金融等重点行业形成一批典型应用场景。“伴随应用场景日益广泛以及使用频次快速增长,人工智能安全风险发生的范围和可能性持续提高。”中国科学院院士、清华大学人工智能研究院名誉院长张钹认为,以深度学习为代表的算法爆发拉开了人工智能浪潮序幕,在计算机视觉、智能语音、自然语言处理等众多领域取得长足发展。但以数据驱动的第二代人工智能在可解释性、稳健性方面的缺陷也逐渐暴露出来,导致安全事件频发。如何实现高质量发展和高水平安全良性互动,是当前人工智能产业面临的最为重要命题。

  中国信息通信研究院发布的《人工智能白皮书(2022年)》同样指出,随着人工智能应用暴露出各种风险和挑战,以及人们对人工智能认识的不断深入,人工智能治理已经成为全球各界高度关注的议题,对可信安全的呼声不断增多。

  “人工智能安全风险主要从‘人’与‘系统’两个角度剖析。从人的视角看,人工智能安全风险存在技术滥用甚至‘武器化’问题。”北京瑞莱智慧科技有限公司CEO田天以深度合成技术为例解释,该技术能够大幅提升内容制作效率与质量,但其负向应用——深度伪造的风险正持续加剧且已产生实质危害。比如,通过“AI换脸”捏造虚假讲话视频等引导公众舆论。对此,清华大学人工智能研究院基础理论研究中心主任朱军认为,技术是中性的,应加强对应用场景、使用者的监管,防止技术滥用等衍生风险发生,保障其应用可控。

  大赛现场演示的人脸识别破解则展示了人工智能系统层面风险,它来自深度学习模型本身存在脆弱和易受攻击的缺陷,通过输入数据添加扰动,使系统作出错误判断,导致其可靠性难以得到信任。这一漏洞在自动驾驶感知系统同样存在:正常情况下,自动驾驶系统识别到路障、指示牌、行人等目标后,会立即制动车辆,但对目标物体添加干扰图案后,车辆感知系统就会出错,引发碰撞危险。“与传统信息系统不同,人工智能系统存在高度不确定性,技术漏洞更为复杂。”朱军建议,在算法模型外部署安全防护组件,利用算法安全检测与防御加固等措施,抵御模型窃取、对抗样本等新型攻击,提高攻击门槛与防御成本,让攻击者无利可图,从而在源头上实现安全。

  北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙则认为,构建科学评测手段是提高人工智能系统防御能力的另一项有效解决方案。人工智能算法不仅种类众多,还包含数据集、模型等众多要素,涉及训练、测试、验证等多个环节,这使得人工智能算法安全性评测成为一项复杂命题。因此,应配备从测试、分析到加固的完整技术手段,形成标准化测试流程。人工智能安全评估不仅局限于算法,未来还应拓展至数据、应用等多个层面,形成全面测评,保障人工智能全周期安全。

  从长远看,人工智能安全问题需要从算法模型原理上寻找突破口。张钹提出构建第三代人工智能,即在第二代人工智能具有的数据、算法、算力3个要素基础上,再融合知识要素,建立新的可解释、稳健的人工智能方法。

  筑牢人工智能安全屏障需要不断在攻防演练中升级对抗能力。大赛聚焦人脸识别、自动驾驶等场景中的典型漏洞及风险,通过考核漏洞发现、挖掘等能力,寻找新型安全需求场景,推动人工智能安全攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

  作为人工智能产业发展重要基石,算力基础设施的加快建设将满足人工智能爆发式增长的算力需求。国家工业信息安全发展研究中心日前发布的《人工智能算力基础设施安全发展白皮书》指出,安全的算力基础设施应保护数据模型不被窃取,有效防范恶意攻击,提供可信任的运行环境,保障人工智能系统安全稳定。

  但人工智能算力基础设施发展仍处于初期阶段,专门的安全标准、技术体系、评估规范、监测和检查手段仍在建设中。为进一步推动人工智能算力基础设施安全发展,国家工业信息安全发展研究中心副主任何小龙认为,算力基础设施与人工智能的安全问题相互交织,应构筑具有针对性的一体化、全链路标准体系,实现协同联防。同时,鼓励算力基础设施企业和算法企业加强合作,推动安全技术工具集成到人工智能算力基础设施中,降低企业应用人工智能成本,形成安全发展良好氛围。(李芃达)

[ 责编:张慕琛 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平参观百团大战纪念馆

  • 中国人民抗日战争纪念馆8日起恢复开放

独家策划

推荐阅读
国家自然科学基金委员会7日发布消息,自然科学基金委近日制定重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 09:20
近日,由农业农村部南京农业机械化研究所联合有关单位研制的全自动水稻覆膜插秧技术装备在江苏省靖江市投入使用,开启了我国水稻覆膜插秧新模式。
2025-07-08 09:11
日前,全球领先的720V高压固态钠盐电池,在位于内蒙古自治区鄂尔多斯市达拉特旗的建亨奥能科技有限公司正式量产,标志着中国成为全球第三个实现固态钠盐电池商用量产的国家。
2025-07-08 09:10
从国家自然科学基金委员会获悉,该委日前制定了重大非共识项目试点实施方案,将在2025年启动资助试点。
2025-07-08 05:05
什么是聚乳酸材料,在取代传统石化基塑料材料方面又有着怎样的优势?本期院士科普,让我们跟随中国科学院院士陈学思,一起走进生物降解高分子材料——聚乳酸的奇妙世界。
2025-07-07 14:19
科技的力量正让农民从传统体力劳动者向掌控全局的智慧决策者转变。
2025-07-07 12:33
在未来数十年,熟练使用人工智能很可能成为大多数职业的必备技能,并深刻影响就业市场。作为经济土壤中的“超级肥料”,新技术既带来传统岗位的替代,更促进新兴产业发展,直接创造新的岗位需求。
2025-07-07 09:12
抽水蓄能机组主要由发电电动机和水泵水轮机组成,利用山上山下两个水库进行水能和电能相互转换。
2025-07-07 09:11
回溯歼—10飞机研制历程,从立项、首飞到定型,历经数十载,“三滴油”看起来微不足道,却更加说明创新需要点滴用心、长期耕耘。
2025-07-07 09:10
从微小的夸克到浩瀚的宇宙,从生命的密码到自然的规律,科学这双“慧眼”不断重新定义着“可见”与“可知”的边界。从墓室中的真菌到实验室里的潜在新药,科学家用一套跨学科方法挖掘出这个隐藏在自然界的分子宝藏。
2025-07-07 09:08
在6日开幕的中国科协年会上,2025重大科学问题、工程技术难题和产业技术问题正式发布。这凝聚科技界智慧的30项问题、难题“锁定”了哪些前沿领域的核心赛道?其遴选标准蕴含着怎样的科学智慧?带着这些问题,记者专访了丛斌、邹冰松、王小云、陈坚四位院士。
2025-07-07 03:10
2025全球数字经济大会2日在北京开幕。除收录标准的优势外,东壁全球科技文献数据平台还根据中国科技界与教育界的习惯,对所收录期刊进行了学科分类。
2025-07-04 09:55
超材料是一类具有特殊性质的人造材料,而具有热辐射性能的超材料可以把多余的热量“打包”传递到外界,热辐射超材料可广泛应用于零能耗辐射冷却、建筑节能降温、航天热控等诸多重要领域。
2025-07-04 09:53
中国科学院院士、海南大学生物医学工程学院教授骆清铭团队成功绘制出了小鼠三维脑区和立体定位图谱
2025-07-04 09:52
7月4日,神秘的水星将迎来东大距,这是今年第二次水星东大距,观测条件依然不错。
2025-07-04 09:51
科学是生产力的核心要素。
2025-07-04 09:50
钙钛矿太阳能电池因成本低、效率高、易加工等优势备受关注,可应用于光伏发电、车载光伏、光伏建筑等领域。
2025-07-03 09:59
目前,对于10厘米以上大型空间碎片,航天器通常采用主动规避的策略,通过轨道调整,避开可能的碰撞路径。
2025-07-03 09:58
6月26日,中国民航局官网发布公告,提到为切实保障航空运行安全,自2025年6月28日起,禁止旅客携带没有3C标识、3C标识不清晰、被召回型号或批次的充电宝乘坐境内航班。
2025-07-03 09:56
加载更多