Google的Neural Tangents为AI模型的行为提供了前所未有的见解

谷歌今天提供了神经切线(Neural Tangents)，这是一个用JAX编写的开源软件库，该系统用于高性能机器学习研究。它旨在帮助同时构建可变宽度的AI模型，Google表示可以允许“前所未有的”洞察模型的行为并“帮助...打开机器学习的黑匣子”。

正如Google高级研究科学家Samuel S.Schoenholz和研究工程师Roman Novak在博客文章中解释的那样，推动AI研究取得进展的主要见解之一是，增加模型的宽度会导致更规则的行为，并使它们更易于理解。通过复习，所有神经网络模型都包含排列在互连层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。他们就是这样提取特征并学习进行预测的。

允许无限扩展的机器学习模型趋于收敛到另一种更简单的模型，称为高斯过程。在这个极限内，复杂的现象归结为简单的线性代数方程，可以用作研究AI的镜头。但是，推导有限模型的无限宽度限制需要数学专业知识，并且必须针对每种体系结构分别进行计算。一旦推导出无限宽度模型，要想实现高效且可扩展的实施，就需要精通工程技术，这可能需要几个月的时间。

这就是神经切线的用处-它使数据科学家仅使用五行代码即可一次构建和训练无限宽网络的集合。根据Schoenholz和Novak的说法，所构建的模型可以应用于可以应用常规模型的任何问题。

研究人员写道：“我们看到，无限宽网络模仿有限的神经网络，遵循相似的性能等级，其性能比卷积网络差，而反卷积网络的性能却比卷积网络差。”“但是，与常规训练不同，这些模型的学习动态是完全封闭形式的，可以让[新]洞察其行为。”