相关不等于因果，深度学习让AI问出“十万个为什么”(2)

在前面的例子中，如果给智能体一个水管而不是一桶水，它就不知道怎么办了而需要从头开始学习，因为它只学习了“翻桶”行动与扑灭火灾，并没有学习水和火之间的因果关系。

尼克姆说：“由于这些原因，人们越来越关注基于模型的强化学习，尽管它也有缺点，例如，如何衡量模型的置信度，模型错误时该怎么做，如何管理大范围长线计划的不确定性?”

解释机器学习模型

可解释性的核心是这样的：解释必须能够识别和量化所有对深度学习模型的行为负有因果关系的因素。在这方面，因果关系是指模型函数本身，而不是模型正在解决的任务，Fiddler Labs(一家可解释的AI引擎公司)的数据科学负责人安库尔·泰利(Ankur Taly)表示。

由于模型的复杂性，完整地解释深度学习模型很难。难以分析推断模型函数中每个特征的重要性，早期的因果深度学习方法是通过观察模型对数据集的预测，在其中拟合一个更简单、可解释的模型来解释它。

“不幸的是，这些方法容易受到从观察数据推断因果关系的影响，”泰利说，人们无法将与模型预测真正相关的特征与那些与之相关的特征区分开来。

最近出现了一套基于合作博弈理论的Shapley值的不同算法。这些算法使用反事实输入探测模型。然而，FiddlerLabs的研究发现，如果数据集不是正态分布的，这些算法大多数情况下都会导致偏差。泰利说他们正在研究将解释模型与特定数据集分离的方法。

这种研究有助于识别模型学会依赖的虚假相关性。例如，黑客最近可以通过添加某些类型的数据来伪造Cylance反恶意软件引擎。减轻这种风险的第一步是确定显著影响模型预测的因果特征。

“然后人们可以通过研究这些特征来检查它们是否也是这项任务的原因，或者它们是否被对手利用了，就像Cylance一样，”泰利说。

不可盲目迷信AI

据Information Builders的弗赖瓦尔德说，目前人类可以比AI更好地通过深度学习建立因果关系。这涉及到限制数据集，剔除可能导致偏差的字段，并塑造学习过程。人类关注因果关系，让算法完成学习过程。这是一个反馈循环，但人是必不可少的。

如果因果关系可以由人工智能决定，那么人工智能可以重塑学习过程而不再需要人类。理论上，AI可以使用任意数据集来确定因果关系，并以人类完全没意料到的方式进行学习。

目前还是存在很多未知的。人类可以用自己广泛的智慧解决问题，而机器尚无法做到。最近的尝试还产生了不少令人头疼的并发症。“我们希望人工智能越万能，需要的数据就越多，误报的可能性也就越大——这是机器的局限，我们不能盲目的迷信机器，”弗赖瓦尔德说。

相关报道：

https://searchenterpriseai.techtarget.com/feature/Causal-deep-learning-teaches-AI-to-ask-why

【本文是51CTO专栏机构大数据文摘的原创译文，微信公众号“大数据文摘（ id: BigDataDigest）”】

戳这里，看该作者更多好文

（编辑：ASP站长网）