Google的ML fairness gym可研究AI决策的长期影响

为了确定AI系统是否在其预测中保持公平，数据科学家需要了解模型的短期和长期影响，这可能是由于许多静态数据集的误差度量上的差异所致。在某些情况下，除了误差指标外，还必须考虑AI系统的运行环境，这就是Google研究人员开发ML-fairness-gym的原因，ML-fairness-gym是一组用于在模拟社交环境中评估算法公平性的组件。

ML-fairness-gym(本周在GitHub上的开放源代码发布)可用于通过使用OpenAI的Gym框架模拟决策来研究自动化系统的长期影响。AI控制的代理程序与数字环境循环交互，并且在每个步骤中，代理程序都会选择一个会影响环境状态的动作。然后，环境会揭示一个观察结果，代理会使用该观察结果来通知其下一步操作，以便该环境对问题的系统和动态进行建模，并将观察结果用作数据。

例如，考虑到经典的借贷问题，即各组申请人偿还银行贷款的概率是其信用评分的函数，则银行充当代理并以环境形式接收申请人，其评分和成员身份观察。它做出决定(接受还是拒绝贷款)，并且环境模拟申请人是否成功还款或违约，然后相应地调整其信用评分。在整个过程中，ML-fairness-gym都会模拟结果，以便可以评估银行政策的公平性。

ML-fairness-gym以这种方式巧妙地避免了静态数据集分析的陷阱。如果经典公平性评估中的测试集(即用于评估模型性能的语料库)是从现有系统中生成的，则它们可能是不完整的或反映了那些系统固有的偏差。此外，由AI系统的输出告知的动作可能会影响其未来的输入。

Google Research软件写道：“我们创建了ML-fairness-gym框架，以帮助ML从业人员将基于仿真的分析引入其ML系统中，该方法已被证明在许多难以分析封闭式分析的动态系统领域有效。”工程师Hansa Srinivasan在博客中发表的文章。