科学家们正在研究理解人工智能

Ta pristop pomaga uporabnikom razumeti notranje delovanje “črnih škatel” algoritmov umetne inteligence, zlasti v medicinski rabi in v kontekstu prihajajočega evropskega Akta o umetni inteligenci.

日内瓦大学 (UNIGE)、日内瓦大学医院 (HUG) 和新加坡国立大学 (NUS) 的研究小组开发了一种新方法来评估对人工智能技术的理解。

Ta preboj omogoča večjo preglednost in verodostojnost diagnostičnih in napovednih orodij, ki jih poganja AI. Nova metoda razkriva skrivnostno delovanje tako imenovanih “črnih škatel” algoritmov AI, kar uporabnikom pomaga razumeti, kaj vpliva na rezultate, ki jih AI ustvarja, in ali jim je mogoče zaupati.

这在对人类健康和福祉产生重大影响的场景中尤其重要，例如在医疗环境中使用人工智能。这项研究在即将出台的《欧盟人工智能法案》背景下具有特殊意义，该法案旨在规范欧盟人工智能的发展和使用。

Ugotovitve so bile nedavno objavljene v reviji Nature Machine Intelligence. Časovne vrste podatkov, ki predstavljajo razvoj informacij skozi čas, so prisotne povsod: na primer v medicini pri beleženju srčne dejavnosti z elektrokardiogramom (EKG), pri proučevanju potresov, sledenju vremenskim vzorcem ali v gospodarstvu za spremljanje finančnih trgov.

Te podatke je mogoče modelirati z uporabo tehnologij AI za izgradnjo diagnostičnih ali napovednih orodij. Napredek AI in predvsem globokega učenja, ki vključuje usposabljanje stroja s pomočjo velikih količin podatkov z namenom njihove interpretacije in učenja uporabnih vzorcev, odpira pot k vse bolj natančnim orodjem za diagnozo in napoved. Kljub temu pa pomanjkanje vpogleda v to, kako delujejo algoritmi AI in kaj vpliva na njihove rezultate, postavlja pomembna vprašanja o zanesljivosti tehnologije “črne škatle” AI.

»Način delovanja teh algoritmov je v najboljšem primeru netransparenten,” pravi profesor Christian Lovis, direktor oddelka za radiologijo in medicinsko informatiko na Medicinski fakulteti UNIGE ter vodja oddelka za medicinsko informacijsko znanost na HUG in eden izmed avtorjev študije o razumevanju AI.

“当然，风险，特别是财务风险，非常高。但是，如果我们不了解机器的推理基础，我们怎么能信任它呢？这些问题至关重要，特别是在医药领域，人工智能驱动的决策可能会影响人们的健康甚至生命，而在金融领域，人工智能可能导致巨额资本损失。”

Metode razumevanja si prizadevajo odgovoriti na ta vprašanja z razkrivanjem, zakaj in kako je AI prišla do določene odločitve ter razlogov za to. »Poznavanje elementov, ki so prevesili tehtnico v prid ali proti rešitvi v določeni situaciji, kar omogoča vsaj nekaj preglednosti, povečuje naše zaupanje v delovanje orodij,” pravi docent Gianmarco Mengaldo, direktor laboratorija MathEXLab na Fakulteti za oblikovanje in inženiring Nacionalne univerze v Singapurju.

“然而，目前在实际应用和工业电路中广泛应用于的理解方法，即使应用于相同的任务和数据集，也会产生非常不同的结果。这就引出了一个重要的问题：如果应该有一个唯一的正确答案，哪种方法是正确的？ “这就是为什么评估理解方法变得与理解本身一样重要的原因吗？”

区分重要和不重要的信息

数据区分是开发完全理解的人工智能技术的关键。例如，当人工智能分析图像时，它会关注一些显著的特征。

洛维斯教授实验室的博士生、这项人工智能研究的第一作者 Hugues Turbé 解释说：“例如，人工智能可以区分狗的图片和猫的图片。同样的原则也适用于时间序列分析：机器必须能够选择作为推理依据的元素。对于心电图信号来说，这意味着协调来自不同电极的信号来评估可能表明特定心脏状况的任何波动。

在所有可用的理解方法中，选择一种用于特定目的的理解方法并不容易。即使应用于相同的数据集和任务，不同的人工智能方法也常常会产生非常不同的结果。

为了应对这一挑战，研究人员开发了两种新的评估方法，有助于理解人工智能如何做出决策：一种是识别信号中最重要的部分，另一种是评估它们相对于最终预测的相对重要性。

为了评估理解程度，他们隐藏了部分数据以检查其是否与人工智能的决策相关。但这种方法有时会导致结果错误。为了解决这个问题，他们在包含隐藏数据的增强数据集上训练机器，这有助于保持平衡性和准确性。随后，团队创建了两种方法来衡量理解方法的性能，这表明人工智能是否使用正确的数据做出决策，以及所有数据是否都得到了适当的考虑。

“我们的方法旨在评估我们在操作领域实际使用的模型，从而确保其可靠性，”Hugues Turbé 解释道。为了进一步研究，该团队开发了一个合成数据集，供科学界轻松评估任何旨在随时间解释序列的新人工智能。

人工智能在医学领域的未来

该团队计划在临床环境中测试他们的方法，因为人们对人工智能的恐惧仍然普遍存在。 “建立对人工智能评估的信任是将其应用于临床的关键一步，”博士解释道。 Mina Bjelogrlic 是 Lovis 部门机器学习团队的负责人，也是这项研究的共同作者。 “我们的研究重点是基于时间序列评估人工智能，但相同的方法也可以应用于基于其他类型数据（例如图像或文本数据）的人工智能。目标是确保人工智能对用户的透明度、可理解性和可靠性。

了解人工智能的内部工作原理是建立对其使用信任的关键，特别是在医药和金融等关键领域。这项研究由日内瓦大学和新加坡国立大学的研究小组进行，提供了一种评估人工智能理解力的创新方法，帮助用户理解决策的原因和方式。这种方法对于医疗应用尤其重要，因为人工智能做出的决策可以挽救生命。