逆向XignCode3驱动程序

关注业务成果可以帮助企业将收集的数据限制在需要的范围之内。“数据科学团队可能非常渴望数据。”为教育机构分析学生数据的Othot公司首席技术官John Abbatico表示。“我们在处理学生数据时明确表示，高度敏感的PII[个人身份信息]是不需要的，也不应包含在提供给我们团队的数据当中。”

当然，错误确实会发生。例如，客户有时会提供敏感的个人信息，如社会保险号码。这些信息不会提高模型的性能，但却会产生额外的风险。Abbatico说他的团队有一个程序来识别PII，从所有系统中清除它，并将错误通知给客户。“我们不认为这是一起安全事件，但我们的做法会让它看起来像是。”

人工智能系统也需要情境化的数据，这会大大增加公司的风险敞口。假设一家保险公司希望更好地掌握其客户的驾驶习惯，它可以购买购物、驾驶、位置和其他的数据集，这些数据集可以很容易地相互关联并与客户账户相匹配。这种新的、指数级的丰富数据集对黑客也更有吸引力，如果被攻破，对公司的声誉也更具破坏性。

人工智能的安全性设计

在线文件共享平台Box是一家需要保护大量数据的公司。Box正在使用AI来提取元数据，以提高搜索、分类等能力。“例如，我们可以从合同中提取条款、续约和定价信息。”Box的CISO Lakshmi Hanspal说。“我们的大多数客户大都来自这样一个时代，他们的内容分类要么是用户定义的，要么是完全被忽视的。他们坐拥的数据堆积如山，这些数据可能对数字化转型有用--如果内容能够被分类、自我感知，而不需要等待人类行动的话。”

Hanspal说，保护数据是Box的一个关键支柱，同样的数据保护标准也适用于人工智能系统，包括训练数据。“在Box，我们相信我们建立的是信任，我们销售的是信任，我们维护的也是信任。我们坚信，这需要融入我们为合作伙伴和客户提供的产品当中，而不是被捆绑在一起。”

这意味着所有系统，包括新的人工智能项目，都应该是围绕核心数据安全原则而构建的，包括加密、日志记录、监控、身份验证和访问控制。“数字信任是我们平台与生俱来的，我们需要将它付诸实践。”Hanspal说。

Box为传统代码和新的AI和ML驱动的系统提供了一个安全的开发流程。“我们在开发安全产品方面符合国际标准化组织的行业标准，”Hanspal说。“基于设计的安全性是内置的，并且存在着制衡机制，包括渗透测试和红队测试。这是一个标准的流程，AI和ML项目不会有什么不同。”

数学家和数据科学家在编写AI和ML算法代码时，一般不需要担心潜在的漏洞。企业在构建AI系统时，会借鉴可用的开源算法，使用商业“黑盒”AI系统，或者从头构建自己的系统。

使用开放源代码，攻击者就有可能在恶意代码中溜走，或者代码中包含漏洞或脆弱的依赖关系。专有商业系统也会使用开源代码，再加上企业客户通常看不到的新代码。

逆向攻击是一个主要威胁

AI和ML系统通常是开源库和非安全工程师所创建的新编写代码的组合。另外，在编写安全人工智能算法方面，也没有标准的最佳实践。鉴于安全专家和数据科学家的短缺，这两方面的专家甚至会更少。

AI和ML算法最大的潜在风险之一，也是Booz Allen Hamilton的Raff最为关注的长期威胁之一，就是训练数据泄露给攻击者的可能性。“有了逆向攻击 ，你就可以让人工智能模型给你关于它自己和它被训练的信息。”他说。“如果它是在PII数据上训练出来的，你就可以让模型把那些信息泄露给你。实际的PII可能会暴露出来。”

Raff说，这是一个需要积极研究的领域，也是一个巨大的潜在痛点。一些工具可以保护训练数据免受逆向攻击 ，但是它们太昂贵了。“我们知道如何阻止这种情况，但这样做会使模型的训练成本增加100倍。”他说。“这不是我夸大其词。训练模型的成本和时间都会高出100倍，所以没人会这么做。”

你无法保护你无法解释的东西

另一个研究领域是可解释性。今天，许多人工智能和移动计算系统--包括许多主要网络安全供应商所提供的人工智能和移动计算工具--都是“黑盒”系统。“供应商没有建立起可解释性，”YL Ventures的常驻CISO Sounil Yu说。“在安全领域，能够解释发生了什么是一个基本的组成部分。如果我不能解释为什么会发生，我该如何解决它呢?”

对于那些能够构建起自己的AI或ML系统的公司来说，当出现问题时，他们可以返回到训练数据或所使用的算法，并修复问题。“如果你是从别人那里建立起来的，你就根本不知道培训数据是什么。”Yu说。

需要保护的不仅仅是算法

人工智能系统不仅仅是一个自然语言处理引擎，也不仅仅是一个分类算法，或者仅仅是一个神经网络。即使这些部分是完全安全的，系统仍然需要与用户和后端平台交互。

系统是否使用了强认证和最小特权原则?后端数据库的连接安全吗?与第三方数据源的连接又如何?用户界面是否具有抗注入攻击的弹性?

另一个与人有关的不安全感来源是人工智能和人工智能项目所独有的:数据科学家。“他们不会无缘无故地被称为科学家，”Othot的Abbatico说。“优秀的数据科学家能够利用数据进行实验，从而得出有洞察力的模型。然而，在数据安全方面，实验可能会导致危险的行为。”他们可能会在处理完数据后，试图将数据移动到不安全的位置或删除样本数据集。Othot在早期就投资获得了SOC II认证，这些控制有助于在整个公司内实施强而有力的数据保护实践，包括在移动或删除数据方面。

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!