专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

给AI系统做“安全体检” 阿里发布自动化AI对抗平台
2020-12-14 17:16:08 来源:通信世界网 作者:【
关键词:阿里 AI系统
 
安全人员曾为某著名车企自动驾驶系统做过一次安全测试,用物理对抗攻击欺骗Autopilot车道检测系统,导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击,后果不堪设想。事实上,AI系统如果没有足够的“免疫力”,甚至会被一张图片欺骗,如将停车标志识别为通行,在医疗应用中将有问题的医疗影像识别为正常图像等。

  安全人员曾为某著名车企自动驾驶系统做过一次安全测试,用物理对抗攻击欺骗Autopilot车道检测系统,导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击,后果不堪设想。事实上,AI系统如果没有足够的“免疫力”,甚至会被一张图片欺骗,如将停车标志识别为通行,在医疗应用中将有问题的医疗影像识别为正常图像等。

  为帮助AI应用从源头构建安全性,阿里安全图灵实验室整理归纳了学界针对AI模型提出的32种攻击方法,以此为基础搭建了一个自动化AI对抗攻击平台CAA,帮助检测AI系统存在的安全漏洞。

  经CAA“体检”后,AI安全专家可针对被检测AI的薄弱地带提出安全建议,助力AI鲁棒性(稳定性)检测,以此增强AI系统的安全性,近日,该研究成果被人工智能顶会AAAI2021接收。

  相比业界此前提出的其他攻击工具箱,阿里图灵实验室研发的自动化对抗攻击平台CAA首度实现了对抗攻击的“工具化”。它让AI应用的使用者即使不具备任何专业领域知识的情况下,也可以进行AI模型的对抗攻击和鲁棒性测试。

  此外,CAA还可预先评估待检测AI的特性,通过自动化搜索技术来合成多个攻击算法的组合,提升了现有模型攻击方法的性能和效率。阿里安全专家通过实验表明,CAA超越了最新提出的攻击方法,是可有效评估当前AI系统安全性的最强“攻击”。

图示:阿里安全提出的自动化对抗攻击平台CAA运行示意图

  以事前“攻击演练”检测AI系统的安全性,是当前提升安全AI的有效方法,也是阿里提出新一代安全架构,从源头构建安全的核心理念。但如果不知道目标模型的防御细节,研究者通常很难根据经验选择到对当前模型最优的攻击算法,从而难以验证“体检”的真实效果。

  阿里安全图灵实验室算法专家箫疯表示,阿里安全首次提出将智能技术引入到对抗攻击中,使得所有攻击细节和参数作为一个黑箱,而攻击者只需要提供目标模型和数据,算法就会自动选择最优的攻击组合和参数。

   以AI体检AI,以AI训练AI。萧疯认为,对识别黄、赌、毒等不良内容的安全检测AI而言,模型可靠性和鲁棒性显得尤为重要。目前,在鉴黄算法上,图灵实验室正在借此技术方法提升曝光、模糊、低画质等极端分类场景下的模型识别能力,并且逐渐提升模型在极端场景下的鲁棒性,为业界提供更安全可靠的AI算法能力。

      

责任编辑:admin

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇没有了
下一篇聚焦产业数字化转型安全,腾讯敏..

热门文章

图片主题

最新文章

相关文章

广告位


Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
  全国服务电话:010-69397252
  京ICP备05067673号-1 京公网安1101111101259