5 个Python 库,照亮你的机器学习之路

现在,坏的消息是:Tf 部署并不支持 GPU 加速,要是 Numpy 能克服那一点该多好。Tfdeploy 的创造者建议 gNumPy 项目是一个可行的替代。

Luigi

地址:https://github.com/spotify/luigi

编写成批作业通常只是处理海量数据的其中一步:你也不得不将所有这些工作串联起来,做成类似工作流程的东西。Luigi 是 Spotify 打造的,用于「解决所有通常与长期运行成批处理作业有关的管道问题。」

有了 Luigi,研发人员就可以从事几个很难、与数据无关的任务处理——「一个 Hive 询问,一个在 Jave 上完成的 Hadoop 任务,一个 Scala 上的 Spark 任务,一个从数据库中导出表格」——创造一个端到端运行它们的工作流。对任务的整个描述以及依存性被打造为 Python 模块,和 XML 配置文档或其他数据形式不同,因此,可以被组合到其他以 Python 为中心的项目中去。

Kubelib

地址:https://github.com/safarijv/kubelib

如果你采用 Kubernetes 作为完成机器学习工作的编排系统(orchestration system),你最不想要的就是它产生的问题比能解决的问题都多。Kubelib 为 Kubernetes 提供了一系列的 Python 接口,本来是用 Jekins scripting 作为帮助。但没有 Jenkins 的情况下也能够使用,它能够完成 暴露在 kubectl CLI 或者 Kubernetes API 中的所有事。

PyTorch

地址:https://github.com/pytorch/pytorch

不要忘记了最近发布的、引人注目的 Python 库新成员 Pytorch,这是 Torch 机器学习框架的一个工具。PyTorch 不仅为 Torch 添加了 Python 端口,也增加了许多其他的便利,比如 GPU 加速,共享内存完成多重处理(multiprocessing,特别是多核上隔离开的工作。) 最好的是,它们能为 Numpy 中的无加速功能提供 GPU 驱动的替代选择。