企业智库:蘑菇街挖据数据链条价值

 

蘑菇街登陆纽交所,每股ADS发行价为14美元,腾讯为蘑菇街的单一大股东,持股比例达17.2%。除腾讯外,蘑菇街的主要股东包括高瓴资本、挚信资本、贝塔斯曼、平安创新、启明创投、红杉资本及蓝驰创投等,阵容堪称豪华。蘑菇街作为一家社会化导购电商平台,其算法架构值得学习,蘑菇街业务方使用的计算框架主要是 Tensorflow,因此有必要先介绍一下 Tensorflow 的分布式训练,Tensorflow 支持如下三种分布式策略:

MirroredStrategy:适用于单机多卡的训练场景,功能有限,不在本文讨论范围内。

ParameterServerStrategy:用于多机多卡场景,主要分为 worker 节点和 PS 节点,其中模型参数全部存储在 PS 节点,worker 在每个 step 计算完梯度后向 PS 更新梯度,蘑菇街当前使用这种方案。

CollectiveAllReduceStrategy:用于多机多卡场景,通过 all-reduce 的方式融合梯度,只需要 worker 节点,不需要 PS 节点,从另外一个角度说,该节点既充当 worker 角色,又充当 PS 角色。该方案是带宽优化的,具有性能好,可扩展性强的特点,是 Tensorflow 推荐的未来方向。

以 ParameterServerStrategy 为例,一个分布式训练集群至少需要两种类型的节点:PS 和 worker。由于在训练中需要一个 worker 节点来评估效果和保存 checkpoint,因此单独把该节点作为 chief(或者叫 master) 节点。通常情况下,一个集群需要多个 worker 节点,多个 PS 节点,一个 chief 节点。所有 worker 节点的 CPU/ 内存 /GPU 等资源配置完全相同,所有 PS 节点的 CPU/ 内存等资源配置也相同。从资源拓扑角度出发,如果能够提供一种 Kubernetes 资源,用户可以基于该资源定义 PS/worker/chief 的数量和规格,用户就可以一键式创建分布式集群,大大简化了分布式集群的部署和配置。tf-operator 定义了 TFJob 资源,用户可以借助 tf-operator 在 Kubernetes 上一键拉起分布式训练集群。

从 Tensorflow 分布式训练的使用方式出发,用户在启动每个节点的任务时,需要传入集群所有节点的网络信息。这意味着分布式训练集群的每个节点需要预先知道所有其它节点的网络地址信息,即要求服务发现功能。tf-operator 基于 Kubernetes headless service,完美的提供了服务发现功能,无需用户再手工指定 PS/Worker 的 IP 信息,极大的降低了用户的部署成本。

“直播形式一方面非常好地提升了用户时尚发现和时尚消费的客户体验,另一方面有效缩短供应链的链条环节,”陈琪说。“未来的电商一定是需要扎的非常深,在领域里非常深度运营、管理,挖据链条价值,平台模式依然可以有很大发展,但简单的IT平台方式肯定不行,必须转变为全方位服务平台。”

从2017年起,蘑菇街开始大力推动直播形式,陈琪强调,与娱乐性质的直播平台不同,蘑菇街的直播只是一种在平台上售卖商品的形式,最终仍是依靠商品的成交来获得交易佣金收入,蘑菇街并不通过赠送虚拟礼物等直播平台惯用的方式进行变现,蘑菇街的核心依然是连接人和商品。

我发现无论什么平台连接人与数据都是企业经营之根本。

企业网址:https://www.mogujie.com

 

 

(本文由中国计算网总编栾玲编辑  转载请注明出处)

微信关注公众号“cncompute_com ”,每天为您奉上最新最热的计算头条资讯,满满干货~多年软件设计师经历,业内资深分析人士,圈中好友众多,信息丰富,观点独到。发布各大自媒体平台,覆盖百万读者。《苹果的品牌设计之道》、《谁拥有未来:小米互联网思维PK传统行业思维》二本畅销书作者栾玲,现为中国计算网设计总监与内容总编,栾玲专著与国画已被国图、清华北大图书馆等收藏