漏洞

1、TensorFlow的漏洞

TensorFlow是谷歌研发的第二代人工智能学习系统，谷歌、eBay、Airbnb、Twitter、Uber、小米、中兴、京东等公司，都在使用TensorFlow进行AI模型训练和开发。腾讯的Blade团队，对TensorFlow进行代码审计时，发现它存在重大的安全漏洞。这个安全漏洞风险较高，主要是，TensorFlow在处理训练AI模型时，没有考虑到规避异常AI模型，导致其执行了黑客的命令逻辑。

2、深度学习框架及其依赖库中的软件漏洞

360 Team Seri0us 团队，在一个月的时间里面，发现了数十个深度学习框架及其依赖库中的软件漏洞。发现的漏洞，包括了，几乎所有常见的类型，例如，内存访问越界，空指针引用，整数溢出，除零异常等。这些漏洞潜在带来的危害，可以导致对深度学习应用的拒绝服务攻击，控制流劫持，分类逃逸，以及潜在的数据污染攻击。

3、挖掘自动驾驶漏洞

1）通用网络安全全球副总裁 Jeff Massimilla 透露，网络安全专家组的成员，主要会从 500 多名竞争者之中选出，他们，曾参与了，通用 2016 年联合 HackerOne 共同发起的 Vulnerability Disclosure 项目的创造。该项目，至今，已经发现了超过 700 个安全漏洞。

2）一辆开启了自动驾驶模式的特斯拉Model S电动汽车，在一个没有安装红绿灯的高速十字路口，与一辆左转的大型牵挂型卡车相撞，导致车主当场死亡。事故的原因，就是由于当时的特斯拉AI系统，无法在强光下辨别白色物体，而特斯拉的工程师，并没有检测出这一漏洞。360天行者与浙江大学组成的联合团队演示了，如何通过发射特定的干扰信号，对传感器进行渗透，让特斯拉Model S 感受到不存在的障碍物，或者将行驶中的车辆逼停。这是在世界舞台上，第一次成功展示通过信息安全漏洞，干扰自动驾驶汽车的行驶路径。

3）在人工智能领域，谷歌走在前列，但是谷歌自动驾驶汽车，在物体识别领域，仍在学习中。日前，谷歌才宣布，已经教会自动驾驶汽车，识别自行车以及警车等。而特斯拉在采用英伟达的处理器后，只是笼统的宣布，在识别物体已经增加数倍，但是仍没有给出具体数据。

4、2018年7月30日，多坦，在汽车管理简报会上，表示：“每1800行代码就存在一些错误，其中80%是安全漏洞。一辆联网车辆和一辆自动驾驶汽车的潜在安全漏洞数目，分别为5000和15000。”多坦称，自动驾驶汽车的代码，可能超过3亿行，这大约是拥有1500万行代码的波音787梦幻客机的20倍。

持续解决漏洞

1、漏洞挖局利器——Fuzz技术。

2、京东安全硅谷研发团队，发布了一款利用人工智能对抗黑产的利器——FUZE，这是全球首个利用人工智能，对漏洞进行评估分析的工具。

3、黑莓，推出了新款网络安全软件Jarvis，可检测无人驾驶汽车的程序漏洞，防止黑客入侵。

4、由哥伦比亚大学和里海大学共同研发的DeepXplore，为自动驾驶漏洞检测，带来了新的思路——深度学习算法，通俗的说，就是用AI 检测AI。它的原理，是通过对至少三套神经网络任务处理结果的对比，找到其中有差异结果的神经网络进行更正，这种方法，大大的提升了漏洞检测的能力。DeepXplore小组，也通过此方法，发现了英伟达DAVE-2，在光线不足的特定路段，出现转向判断错误的漏洞。

人工智能和算法的漏洞在哪？

通过建立复杂的多变量系统，建立庞大的数据库，人工智能，确实可以在很多方面胜出人类。

再厉害的算法，就算他可以自我更新升级，也都是基于已知的数据和变量设计出来的。但未知的新事物和新变量，总是在不断出现。这个世界实在太大了，我们和算法都太渺小，未知的远方比已知的要多，而且它涌现出新问题的速度，也远不是已知经验可以解决的。

攻击，人工智能

于忠臣指出，任何新兴技术都是一把双刃剑，AI技术，在助力防护方的同时，也成为很多攻击者的一把利器。

腾讯移动安全防病毒负责人王佳斌指出……人工智能，可帮助攻击者更精准的寻找目标。王佳斌还提到了“数据污染”--------在实际检测到的一些病毒中，已经发现一些黑产通过正规的申诉通道，投递出与病毒非常接近的文件。这些文件的敏感恶意行为，被去掉了，改动也很小，但将它标记为安全进行训练后，却会产生很多问题……

在李康看来，人工智能系统中，存在十分多的破绽，其中，遇到最多的平安问题是“逃逸攻击”。这也被形容为“骗人攻击”，其主要目的，就是诈骗人工智能应用。最典型的案例，就是人脸辨认系统，将A认作是B。构成这种攻击的主要缘由，是深度学习模型，在做数据培训时……一切图像材料，都会被停止维度处置，调整至同样的格式，呈现给机器。在这个变维的过程中，也成为攻击者“数据投毒”，诈骗人工智能的场景。“原来是一张羊的图片，但维度变化后，机器看到的，并不是羊，而是狼。”李康表示，这种状况下，攻击者，可能运用的手腕，也通常出人意料。

诈骗人工智能的“骗人攻击”，还存在一种偷取人工智能的“偷人攻击”。这种状况下，攻击者的目的，是复制人工智能模型、数据和参数，取得模型后，攻击者，能够自行锻炼数据，僭越人工智能模型，创造更大的风险，推导出人工智能模型，使用的最初数据。由于，如今的程序复杂度太高，越复杂的系统，潜在的平安风险也越多。AI是一个有宏大价值的东西，假如，它很随便就能被他人“偷走”了数据与学习模型，就是一个宏大风险。

“黑客，早就开始把人工智能，当做武器使用了”，Cylance首席安全数据科学家Brian Wallace，在与Gizmodo的采访中说到，“这很容易理解，因为黑客追求规模效应，他们试图攻击尽可能多的目标用户，同时降低自身的风险。人工智能和机器学习，则是他们实现目标的完美工具”。他认为，这些技术，可以辅助黑客们，决策攻击的对象、攻击的方式和时机等因素。--------《AI 正变成黑客手中的强大武器》

现如今，机器学习、自然语言处理、神经网络以及许许多多相关领域的快速发展，使得我们对机器智能门槛的认知，持续降低。在不久的将来，人工智能助手（比如Siri和Alexa）、自动驾驶汽车、疾病诊断算法，都会褪去人工智能的光环。到那时，我们又会把这些技术，看作是理所当然的，并且批评它们的功能，相比人类还不够完美。毫无疑问，机器智能和神经网络等现代工具，属于人工智能的一种形式；如果我们不承认，则要为此承担相应的后果；如果我们无视或者忽视这些工具的力量，那我们可能会被那些竭力挖掘AI潜能的人，所愚弄，比如黑客们。

“人工智能，可以用来挖掘公共网站和社交网络的大数据，从中提取用户的出生日期、性别、常住地、电话号码、电子邮件地址等个人信息。这些个人信息，可被用于黑入该用户的账户”。Dutt告诉Gizmodo，“它还可以用来自动监控电子邮件和短信，并为社会工程攻击，创建个性化的网络钓鱼邮件（网络钓鱼是指非法获取可疑用户的敏感信息）。AI还可以用于生产恶意软件，并支持更智能的寻找和挖掘系统中的漏洞”。

Dutt怀疑AI技术已经被用于网络攻击，罪犯已经掌握了部分机器学习的技术，比如，自动生成个性化的网络钓鱼邮件。Dutt又提到，“使用新的机器学习技术，能够实现我刚才提到的情况，准确率和效率更高，像深度学习模型。”深度学习，又称为分层学习，是一种使用大型神经网络模型的机器学习方法。它已经应用于计算机视觉、语音识别、社交网络过滤等诸多复杂任务，产生的效果，往往优于人类专家。

“此外，大量社交网络和公共数据集，也有所帮助。先进的机器学习和深度学习技术，现在可以在开源平台上，轻松获得，再与相对便宜的计算硬件设施相结合，轻而易举地使得网络攻击，更加复杂。据Goodman说，如今大规模的网络攻击，已经实现自动化。黑客人肉攻击某个目标的情况，已经非常罕见，更常见的方法，是利用AI工具和机器学习方法，进行自动攻击。尽管有人质疑自动化脚本本质上，并不算人工智能，但是可以通过机器智能，来编排这些自动化脚本，快速生成复杂的、高精准的攻击脚本，速率和效果，远远超过任何一个黑客。

事实上，这种场景，几乎是无穷无尽的。除了刚才描述的犯罪活动之外，人工智能，还可以用来攻击易受攻击的人群、高速执行黑客程序、开发智能恶意软件等。

Recorded Future的CTO Staffan Truvé先生认为，随着人工智能技术的成熟和通用化，“坏家伙们”会利用它们，来提高攻击的性能，同时降低成本。Truvé与他多数同事的观点不同，他，不认为现在黑客已经使用了AI技术，简单的算法（如自修改代码）和自动化方案，目前仍然很管用。

“我认为AI还没有成为坏人们的工具箱的标准配置”，Truvé说，“我认为，在现实的攻击中，没有看到很多AI技术的原因，是传统的方法仍然有效；如果，用老式暴力方法，仍然可以获得你需要的东西，那么，何必要花时间和金钱，去换新的技术呢？”

AI对抗AI--------《AI 正变成黑客手中的强大武器》

王佳斌提出了两种应对方案。第一种是对黑产提交过来的污染样本进行鉴定，并从训练集里剔除，保证训练数据的纯洁性；第二种是寻找更多的对抗样本，找到它们与训练数据的差异性，提前补充到训练数据的特征工程中。这样，污染样本过来时，就能快速区别。

由于人工智能技术，已经成为新一代黑客的武器，那么，防御者必须想出新办法，来保护那些脆弱的系统。值得庆幸的是安全专家，已经有了一个相当有力和明显的对策，即人工智能技术本身。问题是，敌我阵营之间，必然会产生军备竞赛。但是，任何一方都没有选择余地，唯一的办法，就是越来越依赖智能系统，来对付敌人。

“对于安全专家来说，这是一个大数据问题。我们处理的数据，超过了单个人可能产生的大量数据”，Wallace说，“一旦开始处理对手，你别无选择只能拿起AI来武装自己”。

为了处于领先地位，Wallace建议安全公司开展自己内部的研究，发展自己的人工智能技术来对抗，测试防御能力。他把这种方式称为“以牙还牙”。五角大楼的高级研究机构DARPA已经采用了这种方法，组织挑战赛，让AI开发人员在虚拟游戏中互相夺旗。这个过程，非常像达尔文主义，不禁让人联想到另一种人工智能发展方式，即进化算法。对于黑客和信息安全从业者来说，适者生存。

Goodman表示同意，他表示要不遗余力地将AI技术，应用于所有场景，从欺诈检测到对付一切网络攻击。Goodman透露，事实上一些公司已经在这样做了，它们与IBM的沃森合作，打击网络威胁。在Truvé的公司Recorded Future，他们，使用自然语言处理技术，来分析犯罪论坛的内容，自动检测关于网络攻击的计划和讨论，以消除潜在的威胁。

他说：“坏家伙们的网络攻击，从来不会停止，只是效率更高了，因此需要研发基于AI的防御机制，确保在很大程度上能够抵御基于AI的攻击。”

Dutt建议信息安全团队，持续监视黑客的网络攻击活动，并从中学习并不断创新，“结合有监督学习和无监督学习的防御策略，在第一时间，检测和阻止攻击迹象”，就像在战争中，采用优质防御策略那样。

旁观者效应--------《AI 正变成黑客手中的强大武器》

罪犯，越来越能精准定位弱势用户和系统，充满AI技术的黑客时代来临。与此同时，计算机安全公司，则要全力以赴的发展和依靠人工智能技术，进行对抗。最终，这些工具，将摆脱人类的理解和控制，在一个新兴的数字生态系统中，以闪电般的速度运作。到那时，无论是黑客还是信息安全从业者，都只需点击各自系统的“开始”，余下的，就是期待一个好结果。人工智能的后果之一，就是人类越来越被排除在圈子之外。

APT，高级持续威胁；是病毒和恶意软件最复杂的变种；约等于不能被发现的入侵。需要长期经营与策划。搜集信息（技术信息、嵌入文档和图像的信息），攻击者，将了解其攻击目标以及原因;更重要的是，他们将知道如何攻击这些目标，而不需要进行额外的背景研究。APT攻击，已不仅仅是一个民族或是国家需要面对的问题，也不再只专注于针对军队和其他政府的间谍活动或攻击。APT攻击，已经开始瞄准IT、能源、新闻、电信、制造和其他经济行业。

APT攻击的目标明确，多数为拥有丰富数据/知识产权的目标，所获取的数据，通常为商业机密、国家安全数据、知识产权等。

零基础学习心理学与人工智能