通常认为，随着人工智能系统复杂性的增加，它的可解释性会越来越差。
但研究人员已经开始用Facebook的Captum等库来挑战这一想法，该库解释了神经网络使用深度学习框架PyTorch以及IBM的AI Explainability 360工具包和Microsoft的InterpretML做出的决策。
为了使人工智能的决策更加透明，来自谷歌和斯坦福大学的一个团队最近探索了一种机器学习模型——Automated Concept-based Explanation (ACE) ，即基于概念的自动解释。
ACE是用经过训练的分类器和一组类的图像作为输入，然后自动提取出“对人类有意义”的视觉概念，为模型的预测提供信息的机器学习模型。
谷歌的ACE模型隔离了图像分类器决策的特征
正如研究人员在论文中所解释的那样，大多数机器学习的解释方法会改变单个特征(例如像素、超级像素、单词向量)，以近似每个特征对目标模型的重要性。这是一种不完美的方法，因为它很容易受到哪怕是最小的输入变化的影响。
相比之下，ACE在提取概念并确定每个概念的重要性之前，将训练有素的分类器和班级中的一组图像作为输入来识别更高级别的概念。
具体来说，ACE片段图像具有多个分辨率，以捕获几个层次的纹理、对象部分和对象，然后将类似的片段作为相同概念的示例进行分组，并返回最重要的概念。
为了测试ACE的鲁棒性，该团队使用了谷歌的Inception-V3图像分类器模型，该模型以流行的ImageNet数据集为训练对象，并从数据集中的1,000个类中选择了100个类别的子集来应用ACE。
他们指出，标记为重要的概念往往遵循人类的直觉，例如，在检测警车时，执法部门的标识比地面上的沥青更重要。
但是，情况并非总是如此。 在一个不太明显的例子中，预测篮球图像的最重要概念是球员的球衣而不是篮球。当谈到旋转木马的分类时，游乐设施的灯光比座位和杆子摇摆感更强。
研究人员承认，ACE绝非完美——它很难有效地提取异常复杂或困难的概念。但他们相信，它对模型的学习相关性提供的洞见，可能会促进更安全地使用机器学习。
“我们通过实验验证了其意义和一致性，并进一步证实了它们确实携带着显著的预测信号。”
自动将输入特性分组为高级概念；有意义的概念作为连贯出现，对于正确预测它们所呈现的图像非常重要，”研究人员写道。“所发现的概念揭示了模型所学习到的潜在的惊人相关性。”
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/231878.html