在这次Help Net Security采访中，Perspective Intelligence总监Aaron Roberts讨论了自动化如何重塑威胁情报。他解释说，虽然人工智能工具可以处理大量数据集，但经验丰富的分析师的细微判断仍然至关重要。
Roberts还提供了关于集成自动化系统、确保可解释性和应对网络安全道德挑战的最佳实践的见解。
许多组织正在增加对人工智能驱动的安全工具的依赖。根据您的经验，自动化在哪里提供了最大的价值，人类专业知识在哪里仍然是必不可少的？
我认为我们可以通过自动化利用的最大优势是数据收集和初始数据处理的结合。在威胁情报中，能够摄取大型数据集，并获取有关其内容和关键发现的任何潜在迹象的一些背景信息可以大大节省时间。如果我们考虑2025年2月，当时BlackBasta勒索软件组泄露了一些内部聊天，在24小时内，您可以访问自定义GPT并询问该数据集。以前，我们必须依靠翻译并手动完成，但今天——您可以通过这种方式利用技术，在几分钟内增加对勒索软件组的能力、方法和受害者的理解。
然而，我们不能认为那是一颗银弹。作为一名情报从业人员，我仍然需要验证和确认这些发现。我认为我们远不能认为人工智能足够可靠，可以提供专门的情报分析师的能力。但我确实认为它越来越成为打击网络犯罪的惊人工具，并可以成为分析师团队快速识别潜在线索的力量倍增器。
人工智能驱动的安全解决方案可以自主应对威胁，但关键决策通常需要人类的判断。将自动响应系统与人类决策相结合的最佳做法有哪些？
我认为，实施人工智能驱动响应的最佳方法与这些工具出现之前的大多数响应相似。在这些环境中工作，防御团队不太可能添加自动响应，而不对影响或是否有效进行任何验证。人工智能主导的干预也是如此。慢慢来，在沙盒或非生产环境中实施它，看看它如何行动和应对它感知到的威胁。我认为，当我们考虑具体场景及其对业务的可能影响时，我们可以务实，逐步引入自动响应。也许你从低优先级警报开始，在增加信任并将一些控制权交给人工智能代理之前，你密切关注这些警报是如何处理的。
与上一個例子类似，我认为对人工智能的行动或建议进行人工监督是最重要的。我们知道，它有机会误解或误解某些东西，因此我认为采取深思熟虑和结构化的方法对于做好这件事至关重要。我确实认为人工智能的力量在于能够消除噪音，并为您提供可能最相关的东西，但您仍然需要人类的信心和验证才能真正理解建议或建议的全部背景和潜在影响。
“可解释的人工智能”概念在网络安全中有多重要，组织如何确保人工智能生成的安全见解对人类分析师来说是可理解的？
这是一个很好的问题，我认为像ChatGPT这样的平台目前缺少一些东西。你可以看到它的思维过程和输出，但通常，我发现你无法真正理解为什么某些东西发生了变化。能够遵循该流程并查看决策过程绝对是确保在网络安全方面做出正确决策的关键。
随着人工智能代理的越来越多，我认为这将有所改进。当您训练模型专注于其角色时，您可以确保其遵循制衡，并根据这些制衡来审查自己。我认为这些更小、更轻的特工的潜力可能是真正的游戏规则改变者。小型的、有重点的任务，能够理解初始输出是否有意义，并审查自己，以确保人类看到的是有意义的。虽然我认为，虽然这是该领域令人兴奋的发展，但此时代理足够可靠的可能性可能需要一点时间。也许通过GPT5、Grok3和其他即将推出的型号，我们将看到重大改进，但时间会证明。
人工智能模型有时会反映训练数据中存在的偏见。人类分析师如何帮助确保自动化网络安全工具不会强化偏见或产生误导性的安全见解？
这将用于训练。作为一名智力从业者，你必须意识到的关键事情之一是你的无意识偏见。因为我们都有它们。但能够理解这一点并实施挑战您的假设、分析和假设的做法是提供最佳情报产品的关键。我认为这是一个迷人的问题，特别是SOC分析师或漏洞经理可能会考虑这个问题，因为这样想并不是他们工作的一部分，对吗？
幸运的是，在处理人工智能数据时，我们可以应用系统提示等内容，我们可以明确我们希望看到的输出，我们可以要求它演示发现在哪里和为什么被识别，以及它们可能的影响。与此同时，我认为这个问题也表明了为什么我们作为人类不能放弃训练或保持技能等事情的重要性。人工智能出错的风险可能相对较低，特别是在经过训练的特定数据集中，但它仍然不会为零。你需要一个能够理解和解释这些发现，并能够提出正确问题的人。
我特别在本地LLM上看到它，它会产生URL或语句的幻觉，虽然我通常出于特定原因测试模型，而不专注于真正培训或提示工程，但我仍然看到它创造了明显不正确的东西。现在，大多数时候，在这种情况下，这对我来说是完全无害的，但作为对勒索软件攻击事件响应的一部分？这可能会造成灾难性。在我看来，通过确保我们作为人类分析师能够挑战、质疑和正确解释所呈现的发现，这是防止偏见影响发现的最佳方式。
自动化安全工具可以采取自主行动，例如阻止访问或减轻威胁。组织在实施这些技术时应该考虑哪些道德问题？
像所有安全事物一样，我们总是需要注意我们正在做的事情背后的道德规范以及为什么。毫无疑问，这个空间有灰色地带，重要的是，我们必须确保我们的运营有严格的标准和程序。如果我们将阻止和缓解完全外包给一家大型科技公司拥有的人工智能模型，我们是否会冒着这些道德和道德指南针的风险？也许如果一个提供商向第二个提供商宣战，然后人工智能突然阻止了对该公司基础设施的所有访问？这听起来像科幻小说，但我不相信它至少不是一点似是的。
同样重要的是，安全仍然是业务的推动因素。有时，我们与可能存在可疑观点或人权记录的国家的网站互动。人工智能是否因为培训数据表明它不应该支持或提供访问权限而阻止了这些国家？现在，一些组织会进行极端的域名封锁，需要流程和批准才能访问网站，在我看来，这是陈年和荒谬的。人工智能能在那个领域提供帮助吗？几乎可以肯定。但我们必须确保人工智能干预的护栏得到严格控制和严格。
实时分析和封锁网站的想法，因为它看起来像一个网络钓鱼网站，这将是一个令人难以置信的资产，但如果它不是一个网络钓鱼网站，而是一个新闻网站，人工智能认为有害，因为公司所有者对组织有相反的世界观？那么我们有一个问题。
我认为我们生活在一个非同寻常的时代，技术有可能成倍地增加我们对宇宙的了解，并有可能改善我们的生活。但这是这段旅程的早期，我不相信急于将人工智能添加到安全堆栈中，因为目前这是一个持续的讨论点，这必然是正确的举动。我们需要被考虑、负责，我们需要确保工具为我们工作，改善我们的工作流程，并最终使我们的业务更加安全。
消息来源：helpnetsecurity, 编译：安全114；
本文由 anquan114.com 翻译整理，封面来源于网络；
转载请注明“转自 anquan114.com”并附上原文
暂无评论内容