人工智能与六大商业风险

如果人工智能（AI）系统出现问题，谁来承担损失责任呢？

人工智能的实施有可能给公司带来巨大的好处。然而，如果出现问题，责任通常落在支持采用该技术的高管身上。预计后果将由领导职位的人承担。

伦敦政治经济学院的研究人员特伦斯・谢和萨多尔・卡里莫夫写道：“在商业中采用和使用人工智能相关的许多风险是广为人知的，因为它们在学术研究和咨询报告中都有广泛的报道。这些风险从偏见和歧视风险到运营和信息技术风险，从业务中断到裁员不等。”

“智能但天真。这将是对我们今天看到的人工智能的恰当描述，” 新思科技软件完整性集团高级安全工程师鲍里斯・西波特告诉《网络快报》。

“毫无疑问，当今的技术能够带来强大的力量。ChatGPT 就是一个很好的例子。这个特定的人工智能工具给许多用户和观察者都留下了深刻的印象，” 他指出。

甚至开发人员也对这个人工智能工具能够快速提供解释性算法，甚至为提出的代码建议解决方案印象深刻。

它提供的文本易于阅读且表述良好。此外，对某些科学问题和术语的解释以易于理解的方式进行，使其适合在辅导或家庭学校环境中使用。

然而，也有用户给它分配创建代码的任务的情况，但这可能被用于可疑的、甚至恶意的目的。此后，提出此类请求的账户已被封锁，因为该技术背后有一个管理团队在监控技术的滥用情况。

西波特指出，企业需要意识到这项技术还很年轻。

“即使人工智能已经通过研究和电影以多种形式存在，但我们必须承认，由于缺乏实际应用，当今存在的人工智能技术并未发挥其全部潜力。很明显，人工智能可以快速学习，但为了做到这一点，它需要用例。”

人工智能是一种快速发展的技术，有可能彻底改变企业的运营方式。然而，与任何新技术一样，也需要考虑风险。《网络快报》解释了企业在实施人工智能技术时可能面临的六个关键风险。

1. 安全风险

随着人工智能系统变得越来越复杂并处理前所未有的数据量，它们也变得越来越成为攻击目标。这可能导致敏感信息的丢失或被盗，这可能给企业带来严重后果。

Keeper Security 的产品负责人赞恩・邦德告诉《网络快报》，“在这场战斗的早期，恶意软件和防病毒供应商过去常常使用文件的哈希值，以便他们能够成功识别恶意代码。攻击者为每次攻击构建自定义二进制文件或多态病毒以逃避已知恶意文件的哈希值，”。

他补充道，“多年后，防御者和那些为他们构建可用工具的人开始识别恶意行为而不是恶意文件，恶意行为更难被掩盖。” 。

与人工智能相关的主要安全风险之一是被黑客攻击和数据泄露的可能性。随着人工智能系统越来越多地融入企业运营，它们也成为网络犯罪分子更具吸引力的目标。

这是因为人工智能系统通常存储和处理大量敏感数据，如个人信息或金融交易。对人工智能系统的成功攻击可能导致这些数据的丢失或被盗，这可能给企业带来严重后果，包括经济损失和声誉损害。

KnowBe4 的数据驱动防御传播者罗杰・格莱姆斯告诉《网络快报》，“我不确定它们是否变得越来越容易受到黑客攻击。我认为更好的说法是同样容易受到攻击，只是更频繁地成为目标。这是有区别的。而且防御者不会只是袖手旁观接受攻击。随着攻击目标更加明确，防御者会做出回应。”。

与人工智能相关的另一个安全风险是未经授权访问系统的可能性。随着人工智能系统变得更加复杂，它们也变得更加复杂，使其更难确保安全。

 人工智能与数字政策中心主席兼研究主任梅尔夫・希科克告诉《网络快报》，“在缺乏强有力的隐私法规（美国）或对现有法律的充分、及时执行（欧盟）的情况下，企业倾向于尽可能多地收集数据。隐私领域长期以来的口号‘如果无法保护就不要收集’仍然有效且真实。”

这可能导致漏洞，网络犯罪分子可以利用这些漏洞访问系统。一旦他们获得访问权限，他们可以窃取数据、破坏运营，甚至控制系统。

希科克说，“人工智能系统倾向于连接以前不同的数据集。这意味着数据泄露可能造成更严重的危害。” 

为了应对风险，企业首先应该考虑数据最小化，她解释说。

“只收集合法的和你需要的东西。企业还应该进行影响分析，以确定如果数据在某个时候被泄露可能会造成什么危害，并采取必要的步骤来降低风险。”

除了这些风险之外，人工智能系统还容易受到恶意攻击，如拒绝服务攻击或恶意软件感染。这些攻击可能会扰乱运营、导致系统故障并导致数据丢失。

KnowBe4 的格莱姆斯说，“更好的问题是人工智能是否带来了全新的攻击方法？这些新型攻击会造成大量损害吗？”。

他将这种情况与云系统进行比较，云系统具有非云系统中最多的漏洞，加上只能在云中发生的新攻击的可能性。

有一段时间，人们对各种形式的基于云的攻击感到担忧，每次发生一次攻击，都会引起极大的关注。

他指出，然而，在严重依赖云的时代十多年后，很明显，对云基础设施的大多数成功且具有破坏性的攻击都是由于传统方法造成的，如社会工程、未打补丁的软件、配置错误和过于宽松的权限。

相比之下，针对云的特定攻击造成的危害最小。

“所以，最好的问题是，仅针对人工智能基础设施的新型攻击是否会在长期内造成大量损害。” 他补充道。

研究人员建议，采取强大的安全措施，包括实施防火墙、入侵检测系统和加密，以保护系统免受未经授权的访问和黑客攻击，是最常见的预防步骤之一。

进行定期风险评估以识别系统中的漏洞，并定期更新软件和硬件以解决任何已识别的安全问题，以提高效率。

同样重要的是为员工提供网络安全最佳实践培训，并在整个组织中营造安全文化氛围。这包括实施政策和程序以确保敏感数据受到保护，并确保员工了解与人工智能系统相关的风险。

Keeper Security 的邦德说，“这些人工智能工具带来的更现实的威胁是，资源有限或技术知识有限的不良行为者有机会大规模尝试更多此类攻击。”。

“这些工具不仅可以帮助网络犯罪分子创建内容，例如可信的网络钓鱼电子邮件或恶意代码以进行勒索软件新闻攻击，而且他们可以快速轻松地做到这一点。防御最薄弱的组织将更加脆弱，因为攻击的数量可能会继续增加。”

2. 偏见和歧视

人工智能系统的好坏取决于它们所训练的数据，如果数据包含偏见，人工智能系统也会存在偏见。这可能导致歧视性的决策和结果，给企业带来严重的法律惩罚和声誉后果。

例如，有偏见的人工智能系统可能会延续甚至放大现有的社会偏见，如种族主义、性别歧视和年龄歧视，导致对某些人群的不公平待遇。当使用人工智能工具进行作业时，这尤其糟糕，因为它可能导致错误的观点。

人工智能系统中偏见的主要来源之一是用于训练它们的数据。用于训练人工智能系统的数据集通常由人类创建，并且可能包含反映创建数据的人的偏见。

例如，用于训练人工智能系统识别人脸的数据集可能包含更多浅色皮肤的人的图像，而不是深色皮肤的人的图像，这可能导致系统难以识别深色皮肤的人。

 麦肯锡于 2023 年 1 月 20 日发布的关于人工智能技术人才格局的调查报告称，“在受访者组织的人工智能团队中，自认为是女性的员工平均比例仅为 27%；少数族裔的平均比例也类似：25%”

“在人工智能中，多元化和包容性的观点尤为关键，以防止数据集和模型中的偏见问题以及对结果的不信任。”

人工智能系统中偏见的另一个来源是用于训练它们的算法。算法可以以这样一种方式设计，即它们延续数据中存在的偏见。

例如，用于预测哪些申请人可能拖欠贷款的算法可能基于历史数据，该数据显示某些人群比其他人群更有可能拖欠贷款。这可能导致算法不公平地拒绝来自这些群体的人的贷款申请。

KnowBe4 的格莱姆斯说“一些早期的人工智能例子表明，它们是如何被其创造者意外地偏见，或者被社区有意地偏见。我认为偏见是我们在传统的非人工智能系统中应该更加关注的问题，但我们并没有。”。

研究人员和管理顾问鼓励企业确保其数据尽可能多样化和具有代表性，并确保用于训练系统的算法旨在最大限度地减少偏见。

希科克表示，组织需要对数据、模型、治理方法的质量承担责任和问责。

“如果作为一家企业，你没有负责任地开发和管理你的人工智能系统，那么你就是目光短浅的。你更看重短期利润和炒作，而不是企业的长期可持续性和弹性，” 希科克说。

“对于一些人来说，这种快速的业务更替，比如快速崛起、快速衰落，是可以接受的。然而，对于那些真正关心品牌增长、客户忠诚度和利益以及整个社会的人来说，那么你需要考虑你正在创造的影响。”

根据他们的说法，定期评估人工智能系统的性能有助于识别和解决可能存在的任何偏见。

另一个重要步骤是在人工智能系统的决策过程中提供透明度。这包括为系统如何做出决策提供清晰的解释，并使人们容易理解系统决策背后的推理。这可以帮助建立对系统的信任并降低歧视风险。

3. 工作岗位流失

微软在 1 月中旬表示，将在全球范围内裁员 10,000 人，占其员工总数的不到 5%。这家总部位于美国的公司仅在印度的薪资软件部门就有 18,000 名员工。裁员计划是在有报道称微软正在洽谈向 ChatGPT 所有者 OpenAI 投资 100 亿美元几天后宣布的，这是一轮将使该公司估值达到 290 亿美元的融资的一部分。

人工智能有可能实现任务和工作的自动化，这可能导致工作岗位流失和劳动力转移。虽然这可以为企业带来成本节约，但也可能导致社会和经济混乱，特别是在劳动力中很大一部分面临被人工智能取代风险的地区。

KnowBe4 的格莱姆斯表示，人工智能肯定会导致工作岗位流失，甚至整个行业的消亡，但这并不是阻止它的理由。

“我们需要做的是培训人们，以便他们为新类型的工作做好准备。我们在这方面做得不好，但我们需要做好。如果我们做得更好，个人和社会的痛苦就会减少。”

希科克指出，关于人工智能系统将导致多少工作岗位流失的大多数广泛预测都与将流程自动化与人工智能系统混淆有关。

她说，“我本身并不认为人工智能对就业构成严重威胁。然而，它肯定正在改变我们的工作方式，在我们与这些系统交互时塑造我们的行为，” 。

“白领和粉领工作肯定会受到影响，但我认为这些工作的影响更多地在于将人工智能系统的结果用于决策或工作交付，而不是人工智能完全取代目前从事该工作的人。”

4. 对人工智能供应商的依赖

随着公司越来越依赖人工智能系统，他们也变得更加依赖提供这些系统的供应商。

与人工智能相关的主要风险之一是对单一供应商的潜在依赖。随着公司越来越依赖人工智能系统来推动其运营，他们也变得更加依赖提供这些系统的供应商。这种依赖可能导致许多风险，包括：

（1）供应商锁定：随着公司对特定供应商的人工智能系统越来越依赖，他们切换到不同供应商变得越来越困难。这可能导致议价能力的丧失，并导致供应商的价格更高或条款不太有利。

（2）缺乏灵活性：严重依赖单一供应商的人工智能系统的公司可能不太能够适应市场或自身运营的变化。这可能会限制他们应对新机会或挑战的能力。

（3）供应商失败的风险：严重依赖单一供应商的人工智能系统的公司如果该供应商倒闭或无法继续提供该系统，则可能面临风险。这可能导致运营中断，甚至导致公司倒闭。

“这不是人工智能的问题，这是责任问题。当人工智能负责一项任务时，安全责任不能与执行责任一起委托，” 新思科技软件完整性集团副首席顾问杰米・布特告诉《网络快报》。

他补充道，“将责任委托给人工智能，并将把所有权从经验丰富的员工手中转移。在这种情况下，风险类似于将责任交给一个没有经验的人类员工，使其无法做出正确的决定或考虑风险。” 。

为了减轻这些风险，企业必须使他们的人工智能供应商多样化，并确保他们在必要时有能力切换到不同的供应商。这可以通过以下方式实现：

（1）使用多个供应商：企业可以使用多个供应商来提供其人工智能系统的不同部分，而不是依赖单一供应商。这可以降低供应商锁定的风险，并在一个供应商无法继续提供系统的情况下提供一定程度的冗余。

（2）建立内部能力：公司还可以投资在内部建立自己的人工智能能力。这可以为他们提供更多的灵活性和对其人工智能系统的控制，并减少对供应商的依赖。

（3）制定备份计划：企业还应该制定备份计划，以防其供应商无法继续提供系统。这可以包括将多个供应商作为备份，或者有能力快速切换到不同的系统。

5. 缺乏透明度

人工智能系统传统上被称为 “黑匣子”，这使得企业难以或不可能理解系统是如何做出特定决策的。

随着人工智能系统变得越来越复杂，它们也变得更加复杂和不透明，使得难以理解它们是如何做出某些决策的。这种缺乏透明度可能给企业带来许多风险。

与人工智能相关的主要风险之一是决策过程缺乏透明度。许多人工智能系统，特别是那些使用深度学习技术的系统，人类很难或不可能理解系统是如何做出特定决策的。

伦敦政治经济学院的研究人员特伦斯・谢和萨多尔・卡里莫夫的报告指出，错误的决策加剧了这种情况。

该报告称，“许多组织，特别是公共组织，除了第一次就正确使用技术之外别无选择。任何购买决策都必须转化为未来的成功。这是因为未能让技术实现所承诺的内容可能被解释为管理不善，或者更糟糕的是，滥用公共资金。” 。

他们指出，在公众监督下，任何未完全达到预期结果的结果都可能导致声誉损失。例如，金融服务公司也可能面临同样的决策风险。

 该报告称，“以一家正在考虑使用人工智能来降低与尽职调查相关的成本并满足日益严格的合规法规的银行为例。可以想象，如果人工智能技术不能正常工作，银行最终可能会面临以罚款、赔偿和补救措施形式出现的高昂财务后果。”。

KnowBe4 的格莱姆斯指出，目前的系统和服务中已经存在黑盒情况。

他说，“你知道谷歌的搜索算法吗？你知道 YouTube 是如何推荐新视频的吗？不知道。除非你编写或审查了你正在使用的软件、服务或设备中涉及的代码或算法，否则你已经生活在很多黑匣子中。” 。

6. 监管和法律风险

随着人工智能的快速发展，与该技术相关的法律法规仍在不断发展。与人工智能相关的监管和法律风险是指企业在实施人工智能技术时可能面临的潜在责任和法律后果。这些风险可能来自多种来源，包括：

（1）遵守法律法规：随着人工智能变得越来越普遍，政府和监管机构开始制定管理该技术使用的法律法规。企业可能受到与人工智能系统中的数据隐私、数据安全和偏见相关的新法规或法律的约束。不遵守这些法律法规可能导致法律和经济处罚。

（2）对人工智能系统造成的损害负责：企业可能对其人工智能系统造成的损害负责。例如，如果人工智能系统犯了一个错误，导致经济损失或对个人造成伤害，企业可能要承担责任。

（3）知识产权纠纷：企业在开发和使用人工智能系统时也可能面临与知识产权相关的法律纠纷。例如，可能会在用于训练人工智能系统的数据的所有权或人工智能系统本身的所有权上出现纠纷。

（4）侵犯人权：人工智能系统有可能侵犯人权，如言论自由和隐私权。如果企业的人工智能系统被发现违反人权法，企业可能面临法律后果。

（5）伦理问题：随着人工智能系统变得更加复杂并融入我们的日常生活，伦理问题也出现了。例如，与自主武器、决策系统和监视技术的使用相关的问题。

希科克斯说，“我们不能保证系统不会歧视某些人群。然而，使用黑匣子系统的决定是人类的决定。我们不应该在存在基本权利和法治风险的地方使用此类系统，在那里我们可能会破坏人类尊严和自主权。” 。

“因此，对于某些用例应该有控制措施，特别是对于公共机构使用的人工智能系统，只允许可解释的系统。”

新思科技软件完整性集团的鲍里斯・西波特指出，所有这些风险的根源在于我们尚未以受监管的方式教会这项技术我们想要的东西。

他说，“对于需要为特定任务提供基本脚本的渗透测试人员来说，ChatGPT 将是一个很棒的工具，他可以在此基础上进行构建并更快地完成工作。然而，这个渗透测试人员选择承担的工作可能是黑客攻击或入侵系统。ChatGPT 将如何决定它应该帮助谁呢？” 。

“这种缺乏经验 —— 人工智能天真的一面 —— 仍需要发展，才能不仅强大，而且安全。”