摘要：“如果你不了解黑客是如何攻破这些漏洞的话，你永远不可能防住黑客。”
一位人工智能专家曾这样写道：“终有一天，机器人将把人类关在动物园的牢笼里。参观动物园时，大机器人对小机器人说，孩子，这是人，是我们的祖先。”这个让人啼笑皆非的“末世预言”虽然有点荒诞，却也道出了面对爆发式增长的人工智能时，人类的惶惑与无奈。
人脸识别、语音识别、无人驾驶、智慧物联……当人工智能越来越多地渗透到我们的衣食住行，带给人类更多未来想象的同时，安全问题就成了悬在每个人头上的“达摩克利斯之剑”。人工智能学者和安全专家、“白帽黑客”们纷纷携起手来，共同应对这场人类前所未有的机遇与挑战。
人工智能挑战来袭
如未知“攻”，焉能知“防”
“砰（Pwn）———！只用了20秒，它就被我们攻破了。”李伟的声音从电话那头传来。美国当地时间已经过了午夜12点，回忆起10个月前的那场比赛，他依然难掩兴奋……
美国科罗拉多大学电子工程系博士毕业、现供职于美国某科技公司的李伟总这样介绍自己：我是一名极客。所谓极客，是美国俚语“geek”的音译，就是指那些对计算机和网络技术有着狂热兴趣，并投入大量时间钻研的人。李伟口中的“砰（Pwn）”，则是黑客圈的俚语，原本用来形容黑客成功实施攻击时的声音———“砰”的一声，你的手机或电脑系统就被“黑”了。李伟和团队参加的比赛“极棒（GeekPwn）”便由此得名。
2017年11月13日，极棒（GeekPwn）2017国际安全极客大赛在美国硅谷举办。作为全球首个关注智能生活安全的极客大赛，这里汇聚了来自世界各地的顶级黑客和人工智能领域的安全专家、学者。
在现场数百双眼睛的注视下，李伟和队友用他们花了半年时间研发的、能够自动识别图像验证码的“机器人”，成功攻破了目前世界上使用最广泛的人机鉴别验证码系统Google reCAPTCHA，整个攻击过程只用了短短20秒。这段比赛视频通过网络直播，在极客圈和黑客圈内广为流传。
比赛上，李伟团队成功攻破了Google reCAPTCHA后，大屏幕上显示出“PWNED”字样。
“一开始，我们只是对人工智能感兴趣，想试试看它到底是怎么回事儿。后来的发现让我们惊喜，我们居然能用人工智能的方法去攻破人工智能本身。”李伟告诉记者，他们利用了开源人工智能深度学习框架，并用人工标记的方式让模型“学习”了1000张Google reCAPTCHA验证码的图片后，训练出了一个能够自动预测并识别验证码图像的“机器人”。借助这个“机器人”，他们在场上用极短的时间就成功“骗过”了Google reCAPTCHA的安全系统。
“攻击是一定会发生的，无可避免。”极棒大赛创办人、碁震（KEEN）公司创始人兼CEO王琦告诉记者。
这位业内人称“大牛蛙”的资深极客，曾是微软中国安全应急响应中心的主要创始人和技术负责人。2011年，他离开微软，在上海创办了自己的安全研究团队，并一举在世界最著名的黑客大赛Pwn2Own中，成为历史上第一支同时攻破电脑操作系统和移动操作系统的安全研究团队。
正是在那时，王琦发现，以前在电脑上出现的安全问题，同样也会在手机等移动设备中出现。他始终相信，漏洞归根结底是人的错误，而网络安全的本质，就是人和人的对抗。
在安全专家们看来，即使到了人工智能时代，这个定律也不会被打破。
2016年，人工智能机器人阿尔法狗（AlphaGO）击败人类围棋世界冠军李世石，震惊世界。人工智能迎来爆发式增长。与此同时，关于其安全风险的讨论也从未间断。
为了能了解更多人工智能漏洞，有针对性地提出安全方案，极棒组委会在2017香港年中赛结束时向全球黑客发出邀请，鼓励他们脑洞大开，从对抗出发，向新的安全领域———人工智能安全发起挑战。
“在PC和移动端上出现的问题，人工智能一样会出现。如果你不了解黑客是如何攻破这些漏洞的话，你永远不可能防住黑客。”王琦强调。
王琦在2017香港年中赛结束时向全球黑客发出邀请，向新的安全领域———人工智能安全发起挑战。
黑客有改变世界的力量
幸运的是，现在我们站在一起
在大多数人的认知中，黑客总感觉像是干坏事的。殊不知，其实在真正的黑客世界里，有“白”也有“黑”。他们所做的内容相似：通过代码寻找计算机与网络系统中的安全漏洞。“白帽黑客”发现漏洞后，会通过提示厂家或公开发布等方式，促进漏洞的修补；而真正的“骇客”则会利用漏洞进行技术攻击，以谋取利益。
在极棒2017国际安全极客大赛上，选手们利用漏洞，攻破智能摄像头。
极棒想做的，就是通过比赛，让“白帽黑客”在安全领域的价值得到最大限度的发挥和认可。自2014年第一届极棒大赛举办以来，“白帽黑客”们已经发现、提交并帮助厂商修复了上百个安全漏洞。而面对突飞猛进的人工智能，这些“白帽黑客”又化身为AI时代的安全卫士，成为未来人工智能安全领域中不可忽视的力量：
2017年，来自美国加州大学伯克利分校的选手展示，在人眼仍能识别正确的情况下，只通过在图像上添加少量噪点，就误导了某自动驾驶设备将限速60km/h的指示牌识别成了限速75km/h；来自中国金融认证中心机器学习实验室的选手,通过机器学习模仿了人类的笔迹；在刚刚结束的以AI手段进行的安全攻防赛CAAD CTF上，来自清华大学的TSAIL团队，用几张人眼难以分辨的图片成功骗过机器视觉，让AI误将钟表识别成蘑菇，而把蘑菇当成航天飞机……
比赛现场，选手正通过机器学习模仿人类的笔迹。
“白帽黑客”的挑战不断刷新着人们对人工智能安全的认知，而他们的作用远不止如此，一场自下而上的对安全观念的改变已经开始。
最初，厂商们总认为“白帽黑客”是来找茬的，不但不接受观赛邀请，还设置了各种障碍。2014年，第一届极棒大赛甫一开幕就遭到打击：比赛现场频频出现网络故障，直播也被迫中断，甚至有厂商因为怕一旦被攻破，会影响自己的声誉，干脆直接关掉了服务器，导致挑战项目无法进行……
变化在过去几年发生。王琦欣喜地看到，现在，已经有越来越多的人认识到，或许我们应该从黑客的角度去理解安全———既能减少漏洞，又能增加攻击成本，从而降低安全隐患。这样的方式又何乐而不为呢？
在极棒官网上，有这样一句话：“黑客有改变世界的力量。幸运的是，现在我们站在一起。”守护AI安全，需要千千万万“白帽黑客”，更需要黑客的对抗思维。
从被动处理到主动研究
帮谷歌、亚马逊找出漏洞
智能时代，传统的安全方案是否还能行得通？面对人工智能技术带来的新挑战，传统的互联网和科技巨头们又如何应对呢？记者采访发现，一套基于黑客攻防对抗思维的安全策略，在人工智能安全领域正悄然生长。
“安全绝不仅仅是被动的事后处理，而是要主动研究最前沿、最尖端的技术，用未雨绸缪的前瞻性研究来武装我们的工作。”在今年6月举行的2018全球人工智能与机器人峰会（CCF-GAIR）上，腾讯安全平台部总监、Tencent Blade Team负责人胡珀，如是揭秘腾讯对人工智能的安全布局和最新进展。
胡珀强调，人工智能时代，未雨绸缪的前瞻性研究更加重要。
胡珀向记者介绍，这支去年年底创立的安全团队，主要专注于人工智能、移动物联网、无人机、物联网等国际范围内的安全研究领域，自成立以来已经发现了谷歌、苹果、Adobe、亚马逊等多个知名厂商的70多个安全漏洞。
他们发现，目前人工智能领域的安全问题主要集中在三个层面：一是人工智能技术本身的安全风险；二是智能设备和系统运行环境的安全风险；而最根本的，还是人工智能算法和模型的风险。
谷歌的TensorFlow是目前世界上应用最广泛的人工智能深度学习框架之一。去年年底，Tencent Blade Team高级研究员张博和同事们却发现，TensorFlow存在“严重的安全风险”。由于深度学习框架是一切人工智能编程和应用开发的基石，一旦被黑客攻击，可能导致开发者的AI模型被窃取，而这些模型一旦被篡改，后果将不堪设想：危害取决于开发者利用TensorFlow建立了什么样的人工智能应用，如果是人脸识别，则可导致错误的验证结果，如果是自动驾驶，则有可能车毁人亡……
发现漏洞后，张博和同事们第一时间向谷歌报告了这一风险。这是第一个被谷歌官方承认的TensorFlow安全风险，并由此建立了快速漏洞响应机制，及时公开安全漏洞的编号、类型和解决方案。
除了对人工智能算法的安全性研究，人工智能设备本身存在的安全问题，也是安全专家们关注的重点。
智能音箱是近两年来最流行的人工智能设备之一，人们可以通过语音聊天的方式和它进行交互，从而控制家里电器的开关、查询和安排日程、购物、播放歌曲等。然而，由于智能音箱具有“听”的功能，长期以来人们对它的安全性也十分担心。
日前，Tencent Blade Team研究员伍惠宇、钱文祥、李宇翔三人发现，面市最早、市场占有率最大、技术也最为成熟的智能音箱之一亚马逊智能音箱Amazon Echo存在安全漏洞。黑客能够在Amazon Echo的静默状态下（无唤醒，提示灯不亮），窃听用户的说话内容。
今年5月，团队将一份完整的漏洞细节报告提交给了亚马逊公司。亚马逊安全部门立刻进行了分析和响应，并向Tencent Blade Team表示感谢。两个月后，所有用户的Amazon Echo漏洞得到了修复。
研究员们正在对智能音箱进行拆解分析。
“现在，越来越多的厂商建立了漏洞响应和修复机制。安全团队要做的不再仅仅是传统的设置防火墙、加密文件、安全监控，而是需要从攻击者的角度出发检视自身存在的漏洞，并且及时进行修复，就像体育运动里的攻防转换一样。”钱文祥说，“这就对安全人员的素质和能力提出了更高的要求。”
2017年底，位于深圳南山区、被誉为可能是“全球最智慧建筑”的腾讯滨海大厦即将投入使用。Tencent Blade Team又将目标瞄准了这座腾讯全球新总部大楼。
他们将一架大疆无人机飞到大厦的某个楼层平面，利用无线安全协议漏洞控制了整个楼层的灯光、空调、插座和窗帘……这本是腾讯滨海大厦投入使用前一场必要的内部安全测试，却被腾讯的安全团队们视为最佳“练兵场”。在这里，他们将建立起一套针对目前世界上最先进的人工智能设备和物联网技术的安全策略。
“颠覆”还是“进化”
悲观派与乐观派的博弈
“人工智能可能是人类历史上发生的最好的事，也可能是最坏的事。”在极棒2017上海站比赛开场前，这段世界著名的天体物理学家霍金的讲话视频在大屏幕上被一遍遍地播放。这位被称作世界上最著名的、对人工智能持保守悲观态度的科学家，曾就人工智能可能带来的风险数度向人们发出警告。
在极棒2017上海站比赛开场前，霍金通过视频的方式，再次对人工智能可能带来的风险发出警示。
“人类对AI的恐惧，实际上是对未知的恐惧。”王琦告诉记者，对于人工智能的未来走向，自己是“悲观派”，对于这一点他从不讳言。“悲观派”们坚持认为，人工智能的高速发展将对人类生存带来极大挑战，经过漫长的技术积累，与人类智能水平并驾齐驱的强人工智能终将到来，而这一时刻就是所谓的技术“奇点”。之后，智能机器开始摆脱人类控制，进而爆炸式进化，到那时，人类对此将无能为力。
相反，“乐观派”们则认为这一天永远不会到来。人工智能科学家们否认所谓的“智能爆炸”，因为他们认为，人类智慧不仅是指人类大脑的能力，更储存在文明之中，所谓“智能”往往依赖于具体的场景和环境，通用智能并不存在。未来，人工智能递归式的自我完善将会成为常态，但“爆炸”和“奇点”不会发生。
中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任王飞跃在接受记者采访时认为，人工智能会在技术层面、社会层面和道德层面给人类带来风险。“但无论是‘颠覆’还是‘进化’，都不应该成为当下人工智能讨论的焦点。真正的焦点应该是实践和实效。”王飞跃强调。
一个不争的事实是，无论人类担忧与否，人工智能都不会停下它喷涌向前的脚步。然而，一个更为现实的问题却是，提到人工智能，大多数人往往忧心“人类会被机器统治”之类的科幻片中的恐怖场景有天会变成现实，而忽视了一些更加迫在眉睫的危机……
相比于“人类会被机器统治”
或许，这些危机更值得警惕
如果说第一次、第二次工业革命离我们太过遥远，那么你一定还记得几十年前的“电脑恐惧症”———随着个人电脑的普及，许多人忧心忡忡，焦虑、恐惧，甚至出现攻击行为，一如机器刚出现时给手工工人带来的恐慌。人们被计算机和互联网吸引，又对它的潜力充满敬畏，因为不了解而担心自己有一天被它取代。
但事实证明，绝大多数担忧并没有发生，计算机并没有取代人类，也没有引发大规模的失业，相反，人们已经从容地进入互联网时代，享受它带来的便捷。然而，当时几乎没人警告过的危机现在却实实在在地发生着：电脑给人带来心理异化，人们的耐心和专注力正被消磨；互联网黑产对个人数据的追踪，无处不在的“监视”；敌对势力通过社交网络入侵，国家安全面临新的挑战……
这些经验提醒我们，如果我们大部分的恐惧都被证明是荒谬的，那么真正的危机恰恰是因为发生前多数人的不担心所造成的。
正在开保险箱的机器人。
事实上，人工智能时代，这些容易被人忽视却又最不该被忽视的风险已经渐渐展露———
今年3月，全球最大的社交网站Facebook被爆超过5000万用户的信息数据泄露。一家数据分析公司“剑桥分析”通过建立模型，对这些数据进行分析，辨别这些用户的性格和政治倾向，有针对性地推送广告甚至是假新闻，从而影响了他们在2016年美国大选中的投票。事实上，这并不是孤例。近年来，一些互联网消费平台也接二连三被爆出“大数据杀熟”，引来质疑不断……
随着人们的生活越来越数字化，社交媒体、网购平台甚至智能硬件厂商，越来越了解人们的生活和思想，也将越来越多地通过人工智能算法控制每个人的信息接口和消费。人工智能可以随时感知我们的行为和想法，我们看到的新闻和广告变成了算法的“策划”，并且不断调整提供给我们的信息，进而影响我们的判断和行为。
比起现实生活中那些已经显现的智能设备漏洞，或者“人类会被机器统治”这样相对遥远的末世预言，通过人工智能算法“操纵”用户的思想和行为，来实现不透明目标，其危害性更大，也更值得警惕———在记者的此次采访中，诸多人工智能学者和安全人士都表达了相同的关切和担忧。
硬币的两面
危机四伏就只能主动出击
任何事情都会有好有坏，就像硬币的正反两面，相伴而生，无法割裂。正迈入智能时代的每个人都清楚，人工智能大势已至，人类不能，更不该因噎废食。
“对于每个普罗大众来说，也许我们无法左右技术发展、国家政策，我们能做的只是保护好个人隐私，尽量购买大厂商的智能设备，及时更新漏洞……但这并不妨碍我们每个人去关注和拥抱AI，并且时刻对它的安全性保持警惕。”采访中，一位普通市民如是说。
“政府、学界和企业三股力量正加速探索建立有效的合作模式，以应对人工智能发展中面临的安全挑战。”王飞跃告诉记者。
让用户从“安全”到“安心”，成为人工智能学者和安全从业人员的追求目标。越来越多的企业意识到，安全能力与应用研发、产业发展同样重要。它们不再是习惯性地先做产品，再增加安全防护，而是从规划和研发阶段就开始了安全策略的部署，安全成了所有“0”前面的“1”。
从最初的不理解到现在的主动参与，越来越多的企业认识到攻防对抗思维对于安全策略的重要性。
政府层面也在持续发力。去年7月，国务院印发《新一代人工智能发展规划》，提出要“建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。
本月，2018世界人工智能大会将在上海召开。届时，诸多国内外政要、学界泰斗和行业龙头将齐聚黄浦江畔，人工智能的安全挑战、政策法规和标准体系将会成为会议的重要议题。未来，智能社会法律和伦理道德的边界将更加清晰。
诚然，如果说人工智能技术的不确定性让人类获益的同时，又带来一个危机四伏的未来的话，那么面对危机，除了主动出击，我们别无选择。
栏目主编：龚丹韵文字编辑：雷册渊题图来源：邵竞 制图 图片来源：视觉中国
高质网 倡导尊重与保护知识产权。如发现本站文章存在版权等问题，烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至1851688011@qq.com我们将及时沟通与处理。！：首页 > 新闻 » 关于那些让你“细思极恐”的末世预言…人工智能安全谁来守护？