人工智能到底有多可靠？TU Wien 的一个跨学科研究团队开发了一种方法，可以精确计算神经网络在定义的输入域内运行的可靠性。换句话说：现在可以从数学上保证不会发生某些类型的错误——这是在敏感应用中安全使用 AI 的关键一步。

从理论到安全

从智能手机到自动驾驶汽车，AI 系统已成为我们日常生活的一部分。但在安全至关重要的应用中，出现了一个核心问题：我们能否保证 AI 系统不会犯严重错误 - 即使其输入略有不同？

来自维也纳工业大学的团队 - Andrey Kofnov 博士、Daniel Kapla 博士、Efstathia Bura 教授和 Ezio Bartocci 教授 - 汇集了数学、统计学和计算机科学的专家，现在已经找到了一种分析神经网络（人工智能系统的大脑）的方法，这样就可以准确确定给定输入范围的可能输出范围 - 并且可以确定地排除特定错误。

小变化，大影响？

“神经网络通常以可预测的方式运行 - 每次输入相同的输入时，它们都会给出相同的输出”- Andrey Kofnov 博士说。“但在现实世界中，输入通常是嘈杂的或不确定的，并且不能总是用单一的固定值来描述。输入的这种不确定性导致了输出的不确定性。

“想象一下，一个神经网络接收图像作为输入，并负责识别其中的动物，”Ezio Bartocci 教授说。“如果图像略有变化怎么办？不同的相机、更多的噪点、光线的变化 - 这会导致 AI 突然错误地分类它所看到的内容吗？

“了解所有可能的输出有助于做出更好、更安全的决策，尤其是在金融、医疗保健或工程等高风险领域，”Andrey Kofnov 补充道。“通过计算可能输出的可能性，我们可以回答一些重要的问题，例如：出现极端结果的可能性有多大？涉及多大的风险？

使用传统测试很难回答这类问题。虽然可以尝试许多场景，但几乎不可能完全覆盖所有可能的输入。可能总是有极少数未经过测试的边缘情况 - 在这种情况下，系统会失败。

多维空间中的数学

维也纳工业大学开发的解决方案使用几何方法：“所有可能输入的集合——例如，可以输入到这种 AI 系统的所有可能图像——可以想象成一个在几何上类似于我们的 3D 世界的空间，但具有任意数量的维度，”Efstathia Bura 教授解释说。“我们将这个多维空间划分为更小的子区域，每个子区域都可以进行精确分析，以确定神经网络将为该区域的输入产生的输出。”

这使得从数学上量化一系列输出的可能性成为可能——有可能以 100% 的确定性排除错误结果。

该理论尚不适用于大规模神经网络，例如大型语言模型。“像 ChatGPT 这样的 AI 对于这种方法来说太复杂了。分析它需要难以想象的计算能力，”Daniel Kapla 说。“但我们已经证明，至少对于小型神经网络，严格的误差量化是可能的。”

SecInt 的跨学科研究

该方法是维也纳工业大学 SecInt 博士学院的一部分，旨在促进 IT 安全领域的跨学科合作。道德问题和技术的社会影响也在该计划中发挥着核心作用。
Ezio Bartocci
教授和 Efstathia Bura 教授与 Andrey Kofnov 博士（前博士生和现任博士后）和 Daniel Kapla 博士（博士后）合作开发了这种新方法，结合了 AI 理论、统计学和形式化方法的思想。

原始出版物

该研究经过同行评审并被接受在 ICML 2025 上展示，ICML 2025 是世界领先的机器学习会议之一。该活动将于 2025 年 7 月 13 日至 19 日在加拿大温哥华举行。该论文的预印本现已提供