大数据分析:正在进行云驱动的转变

数据库正在通过创新方法进行解构和重组。从架构角度来看,人们以前熟悉的数据库正在减少。人们正在采用流媒体、内存和无服务器大数据分析基础架构。供应商正在探索重新构建核心数据库功能以满足新兴需求的新方法,例如自动化机器学习管道和面向边缘的认知物联网分析。在这一演变过程中,随着更多高性能事务分析功能集成到各种数据平台中,分析和应用程序数据库正在融合。此外,数据库存储引擎正在成为主要用于机器数据的存储库,可通过替代结构(例如键值索引和对象模式)进行寻址。

数据科学工具链的端到端的DevOps管道越来越自动化。大数据增强的编程将继续增长。开发人员可以使用越来越多的DevOps工具来自动化机器学习、深度学习和其他人工智能资产的开发、部署和管理中的各种任务。这些解决方案的范围越来越广泛,甚至利用专门的机器学习算法来推动超参数调整等机器学习开发功能的发展。

打包的大数据分析应用程序正变得越来越普及。未来十年,更多用户将以预构建、预培训和模板化云服务的方式获得大数据分析解决方案。更多的这些服务将自动调整其嵌入式机器学习、深度学习和人工智能模型,以持续提供最佳业务成果。更多的这些服务将纳入预先训练的模型,客户可以调整和扩展到自己的特定需求。

500409250_banner

大数据分析的演变和部署障碍

尽管大数据分析采用的预测看起来很乐观,但仍存在许多持续性的问题,使用户试图最大限度地利用这些技术的投资价值受到挫折。其中最主要的是:

过于复杂。大数据分析环境和应用程序仍然过于复杂。供应商需要继续简化这些环境的接口、体系结构、功能和工具。这样做会将复杂的大数据分析功能应用于主流用户和开发人员,其中许多人都是缺乏具备必要专业技能的内部IT人员。

繁琐的开销。对于一些IT专业人员来说,大数据分析管理和治理流程仍然过于孤立,成本高昂且效率低下。供应商需要构建预先打包的工作流程,帮助大型专业人员团队更有效、快速和准确地管理数据、元数据、分析和服务定义。

加强管道的自动化处理。大数据分析应用程序开发和运营管道仍然过于耗时,并耗费人力。供应商需要加强其工具的自动化功能,以确保提高用户技术人员的生产力,同时确保即使是技能较低的人员也能处理复杂的任务。

自定义应用程序。大数据分析专业服务对于开发、部署和管理许多自定义应用程序仍然至关重要。这对于跨越混合云的数据驱动型应用程序,涉及不同的平台和工具,以及纳入难以理解的复杂数据流程尤其如此。供应商需要为常用的大数据分析应用程序加强预先打包的应用程序内容,同时为用户提供自助服务的可视化工具,用于指定复杂的业务逻辑,而无需外部帮助。

对于企业IT团队来说,Wikibon团队的主要建议是开始将更多的大数据分析开发工作迁移到公共云环境中。这将加速企业利用AWS、微软、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉产品的能力。企业应该考虑构建自己的混合云,以确保在未来几年内将其业务顺利过渡到公共云。