Facebook详细介绍了其购物体验背后的AI

Facebook今天宣布改善其平台上的购物体验，包括Facebook Shops，这是企业建立单一在线商店供客户访问Facebook和Instagram的一种新方法。该公司对这些新产品进行了特征描述-所有这些产品均由一系列新的AI和机器学习系统提供支持-朝着实现能够在同一时间搜索和排名产品的多功能AI助手的愿景迈出了一步根据个人喜好个性化其建议。

像Facebook Marketplace这样的电子商务企业都依靠AI来自动执行许多幕后任务，从学习偏好和身体类型到了解可能影响购买决策的因素。麦肯锡(McKinsey)估计，最近部署了AI处理传入购物者查询的亚马逊(Amazon)通过其产品推荐引擎产生了35%的销售额。除了排名之外，来自ModiFace，Vue.ai，Edited，Syte和Adverity等初创公司的AI使客户可以虚拟尝试口红的阴影，查看各种尺寸的模型图像，并发现趋势和销售情况。

Facebook首席执行官马克·扎克伯格(Mark Zuckerberg)在今天下午的直播中说：“由于大流行，我们看到许多从未有在线业务的小企业首次上线。”他透露，超过1.6亿小企业世界各地都在使用该平台的服务。“这并不能弥补他们失去的所有业务，但可以有所帮助。对于此期间的许多小型企业而言，这是保持生计还是破产之间的区别……Facebook的地位独特，它是小型企业的拥护者，它可以帮助他们成长并保持健康。”

Facebook表示，其基于AI的购物系统可以对图像进行细分，检测和分类，以了解产品出现在何处并提供购物建议。其中一个系统-GrokNet-在七个数据集中进行了训练，其中包含数百万个用户发布，购买和出售的产品图像，这些图像包括从SUV到细高跟鞋到边桌的数十种类别。另一个使用产品的2D视频创建3D视图，即使那些产品在昏暗或过亮的灯光下也是如此，而第三个聚光灯的服装如围巾，领带等，可能会被周围的环境部分遮盖。

GrokNet

Facebook表示，GrokNet可以检测出数十亿张照片中的精确，相似(通过相关属性)和同现产品，并且在Marketplace上执行搜索和过滤的效率至少是其替换算法的两倍。例如，与Facebook基于文本的归因系统(只能识别33%)相比，它能够识别90%的家庭和花园列表。作为有限测试的一部分，除了在Marketplace卖家列出商品之前从图像生成颜色和材料的标签外，它还用于在页面管理员上传照片时在Facebook Pages上标记产品。

Facebook表示，在对35亿张图像和17,000个标签进行预训练GrokNet并在96种Nvidia V100图形卡的内部数据集上进行微调的过程中，Facebook说，它使用真实世界中的卖方照片，具有“挑战性”的角度以及目录样式点差。为了使所有国家，语言，年龄，大小和文化尽可能地具有包容性，它抽样了不同体型，肤色，位置，社会经济阶层，年龄和姿势的示例。

Facebook开发了一种使用GrokNet作为反馈循环自动生成其他标识符的技术，而不是使用会花很多时间的产品标识符来手动注释每个图像，因为产品标识符已经使用了很长时间。利用对象检测器，该方法可以识别图像中可能产品周围的框，然后将框与已知产品列表进行匹配，以将匹配项保持在相似度阈值内。结果匹配将添加到训练集中。

Facebook还利用了每个培训数据集都具有固有难度的事实。较简单的任务不需要那么多图像或注释，而较困难的任务则需要更多图像或注释。公司工程师通过将大部分培训分配给具有挑战性的集，而每批只分配少量图像给简单的图像，从而同时提高了GrokNet在任务上的准确性。

产品化的GrokNet具有83个损失函数(即，将变量的事件映射到表示与事件相关的某些成本的数字的函数)，可以预测给定图像的一系列属性，包括其类别，属性和可能的​​搜索查询。它仅使用256位来表示每个产品，就产生了类似于指纹的嵌入，可用于诸如产品识别，视觉搜索，视觉上相似的产品推荐，排名，个性化，价格建议和规范化等任务。

Facebook表示，将来，它将使用GrokNet来在Marketplace上为店面供电，以便客户可以更轻松地找到产品，了解这些产品的穿着方式并获得相关的配件建议。该公司写道：“这种通用模型使我们能够利用更多的信息源，从而提高了准确性，并且胜过了单一的垂直关注模型。”“从一开始就考虑所有这些问题，可确保我们的属性模型对每个人都适用。”

3D视图和AR试用

补充性AI模型为Facebook的3D视图功能提供了支持，该功能现已通过测试在iOS的Marketplace上提供。基于2月份推出的3D照片工具Facebook，它使用智能手机拍摄视频并对其进行后期处理，以创建可旋转并向上移动至360度的交互式伪3D表示。

Facebook使用一种称为同步本地化和映射(SLAM)的方法进行重建，该方法可以在跟踪代理人(智能手机)位置的同时创建和更新未知环境或对象的地图。智能手机的姿态在3D空间中重建，其路径通过检测异常间隙的系统进行平滑处理，并将每个姿态映射到校正不连续性的坐标空间中。为了保持一致性，将平滑的相机路径映射回原始空间，从而重新引入了不连续性并确保了物体的可识别性。

Facebook的SLAM技术还结合了对帧的观察以获得稀疏的点云，该点云由任何给定捕获场景中最突出的特征组成。这朵云充当了相机姿势的指导，这些姿势与最能代表3D对象的视点相对应;图像以某种方式失真，看起来像是从视点拍摄的。启发式离群值检测器会发现可能引入失真的关键点，并将其丢弃，而相似性约束使重构的无特征部分变得更加僵硬，而散焦区域看起来更加自然。

除了3D重建之外，Facebook表示将很快利用其Spark AR平台结帐功能，使客户能够看到物品在各个地方的外观。(已经有Nyx，Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它来增强增强现实的“试穿”体验。)该公司计划支持试穿各种物品，包括家居装饰。和家具-包括商店在内的各种应用程序和服务，Facebook的功能使企业可以通过网络直接进行销售。

分割

为了使诸如Marketplace之类的服务能够在图像中自动隔离服装产品，Facebook开发了一种细分技术，该技术声称与几种基准相比，它可以实现最先进的性能。这项技术称为“操作员”，称为“实例蒙版投影”，可以发现腕带，项链，裙子和毛衣等物品在不均匀的光线下拍摄或部分被遮盖，甚至以不同的姿势出现在衬衫和夹克等其他物品下。

Instance Mask Projection可以检测整个服装产品并大致预测其形状。该预测用作改进每个像素的估计的指南，允许合并来自检测的全局信息。预测的实例图被投影到一个功能图中，用作语义分割的输入。据Facebook称，这种设计使操作员适合进行服装分析(涉及复杂的分层，大变形和不凸的对象)以及街道场景分割(重叠实例和小对象)。

Facebook说，它正在与运营商一起在数十种产品类别，图案，纹理，样式和场合(包括照明和餐具)上培训其产品识别系统。它还增强了检测3D照片中物体的技术，并做出了相关努力，开发了可识别身体的嵌入物，以检测可能对人的身材讨人喜欢的衣服。

“今天，我们可以理解一个人穿着麂皮立领圆点连衣裙，即使她的一半被藏在办公桌后面。我们也可以理解那张桌子是用木头还是金属制成的。”“在实现我们的长期目标时，我们需要教这些系统以了解一个人的品味和风格，以及该人在搜索产品时所处的环境，我们需要推动其他突破。”

迈向AI时尚助手

Facebook表示，其目标是有一天将这些不同的方法结合到一个系统中，该系统可以即时提供与个人口味和风格相匹配的产品推荐。它设想了一个助手，该助手可以通过分析一个人的衣橱中的图像来学习喜好，例如，该人可以尝试在自复制品上尝试收藏并出售其他人可以预览的服装。

为此，Facebook表示，其研究人员正在制作一个“智能数字壁橱”的原型，该壁橱不仅根据计划的活动或天气提供服装建议，而且还根据个人产品和美学提供时尚灵感。

这就像是Echo Look的一种无硬件，表面上更为复杂的样子，Echo Look是亚马逊已停产的AI供电相机，它告诉客户他们的衣服看起来如何并跟踪衣橱里的东西，同时推荐从Amazon.com购买衣服。像Stitch Fix这样的公司也使用算法来帮助挑选发给客户的衣服，选择库存的衣服，并跟踪客户在网上发现自己喜欢的东西。

Facebook预计最终将需要新的系统来适应不断变化的趋势和偏好，理想情况下，该系统将从对潜在所需产品的图像的反馈中学习。它最近在Fashion ++方面取得了进展，该++使用AI来建议个性化的样式建议，例如添加皮带或半折衬衫。但该公司表示，在真正的预测性时尚助手成为可能之前，必须在语言理解，个性化和“社会第一”体验方面取得进步。

“我们预见了一个未来的系统，它可以……将您朋友的建议纳入博物馆，饭店或全市最好的陶瓷类中，使您能够更轻松地购买这些类型的体验，” Facebook说。“我们的长期愿景是构建一个多合一的AI生活方式助手，该助手可以准确搜索和排名数十亿种产品，同时根据个人喜好进行个性化设置。相同的系统将使在线购物与在现实生活中与朋友购物一样具有社交性。更进一步，它将推进视觉搜索以使您的实际环境可购买。如果您看到自己喜欢的东西(衣服，家具，电子产品等)，则可以对其进行拍照，然后系统会找到该商品的准确信息，以及可以在当时和那里购买的几件类似商品。”

Facebook再次关注电子商务，因为该公司一直在应对大流行导致的广告销售趋于平缓。即使在过去几个月中在线销售猛增，Facebook仍拒绝提高Marketplace的佣金(相比之下，亚马逊为5%，而沃尔玛为15%)，可能会保持竞争优势。一些分析师估计，从长远来看，Marketplace将为Facebook带来超过50亿美元的年收入。