Google开源更快更高效的TensorFlow运行时
Google今天推出了TensorFlow运行时(TFRT)，这是其TensorFlow机器学习框架的新运行时，它提供了统一的，可扩展的基础架构层，并在各种硬件上均具有高性能。它于GitHub上以开源形式发布，是在今年早些时候于2020 TensorFlow Dev Summit上的一次会议上进行预览的，该会议在一个关键的基准测试中显示了TFRT可以加速核心循环。
Google表示，TFRT旨在满足寻求更快模型迭代时间和更好错误报告的数据科学家的需求，以及旨在在训练和服务于生产模型的同时提高性能的应用程序开发人员的需求。切实地，TFRT可以减少开发，验证和部署企业级模型所需的时间，调查表明，该模型的范围可能从数周到数月(或数年)。而且它可能会击败Facebook入侵的PyTorch框架，该框架继续在OpenAI，Preferred Networks和Uber等公司中迅速普及。
TFRT在目标硬件设备上执行内核(数学函数)。在此开发阶段，TFRT调用一组调用底层硬件的内核，着重于低级效率。
与TensorFlow的现有运行时相比，该运行时是为执行图(执行操作，常量和变量的图)和训练工作负载而构建的，与TFRT相比，它针对推理和急切执行进行了优化，其中操作是从Python脚本调用的。TFRT利用了渴望执行和图形执行的通用抽象;为了获得更好的性能，其图执行器支持并发执行操作和异步API调用。
谷歌表示，在性能测试中，与TensorFlow当前的运行时相比，TFRT将经过训练的ResNet-50模型(一种流行的图像识别算法)的推理时间缩短了图形卡28%。TFRT产品经理埃里克·约翰逊(Eric Johnson)和TFRT技术负责人Mingming Hong在博客中写道：“这些早期结果是对TFRT的有力验证，我们希望它可以大大提高性能。”“高性能的低级运行时是实现当今趋势并实现明天创新的关键……TFRT将使广泛的用户受益。”
目前对TFRT GitHub存储库的贡献是有限的，而且TensorFlow的稳定版本中尚未提供TFRT。但谷歌表示，它将很快通过选择加入标志到达，最终取代现有的运行时。
