在过去的几年中,对数据科学家和工程师的需求已经超出了预期。招聘网站上发布的面向机器学习和数据工程师的职位的数量每年继续以两位数的速度增长,而在该领域工作的人员的薪水却越来越高。

加入这些急需技术人员的行列,需要认真的编码工作,绝对是Python的专业知识,以及对其他语言的熟悉。数据工程师的职位空缺与Python的统治地位的结合意味着Python定期制作大多数需求编码语言的图表。

因此,任何打算在数据科学或机器学习方面发展的人都需要建立软件工程技能,对吗?

dotData的创始人兼首席执行官Ryohei Fujimaki说错了。藤卷已经将近十年来致力于使用AI来自动化数据科学家的大部分工作。

他说,我们可以“消除技能障碍。传统上,构建机器学习模型的工作只能由了解SQL,Python和统计信息的人员完成。我们的系统使整个过程自动化,使经验不足的人员可以实施机器学习项目。”

目前正在将其工具作为基于云的服务提供的DotData来自NEC。当时担任公司研究员的藤卷(Fujimaki)于2011年开始考虑将机器学习自动化,以使他的研究团队中的约100名数据科学家更加高效。几年来,他一直处于偏僻状态,专注于将旨在使机器学习变得透明的算法商业化,但在2015年重返机器学习项目。

他说:“在商业世界中,机器学习的典型用例是预测,预测产品的需求以优化库存,或预测工厂中传感器的故障以进行预防性维护,或对可能的方法进行评分。顾客。”

他说:“开发用于预测的机器学习模型的第一步是特征工程-查看历史模式并提出假设。”功能工程通常需要由具有多种技能的团队组成-数据科学家,SQL专家,分析师和领域专家。通常,只有在该团队提出一组假设之后,机器学习才会介入,将所有这些假设组合在一起,以找出如何最佳地权衡它们以得出准确的预测。

在dotData的系统中,AI接管了第一步,并根据一组历史数据检验了自己的假设。

因此,他说:“您不需要领域专家或数据科学家,作为子产品,AI可以比人类专家探索更多的假设—在有限的时间范围内,数以百万计而不是数百种。”

藤卷的团队于2016年在NEC上让日本三井住友银行(SMBC)使用传统数据科学工具针对一个团队测试了原型。他说:“他们的团队花了三个月,我们的过程花了一天,我们的结果更好。”NEC于2018年初剥离了该集团,仍然是股东。目前,DotData拥有约70名员工,其中约70%是工程师和数据科学家,还有数十名客户。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如有侵权行为,请第一时间联系我们修改或删除,多谢。