金融行业的大数据应用之路

金融企业到业务目标一般可以分为资产规模、产品收入、用户规模、交易费用等四个方面。资产规模可以分解到产品销售、有效客户、单个客户价值等几个方面;产品收入可以分解为客户规模、客户活跃、单客价值、持有时间、产品种类等几个方面;用户规模可以分解为用户总数、活跃客户、休眠客户、新增客户、流失客户等几个方面;交易费用可以分解为活跃客户、单客价值、交易频率、交易间隔、交易产品等几个方面。

金融企业可以利用数据分析来了解企业在各个方面的运营表现包括客户分布、客户价值、客户活跃、产品销售、交易频率、客户流失、客户休眠等数据,利用数据分析的结果进行决策。例如增加20%的高价值客户比例,增加客户活跃度,增加热销产品比例,实施高净值客户挽留,提升客户交易频率,激活休眠客户,增加目标客户,缩短购买间隔时间等。一切的营销活动将参考数据分析的结果,包括客户的行为数据和客户的交易数据,以及产品销售数据和客户体验数据等。这种数据变现的思路是将可以目标分析成用户经营行动,利用海量行为和交易数据来实现用户经营。

另外一种数据应用途径是整理海量数据,进行统计分析和数据挖掘,从数据分析和挖掘的结果来找到数据应用的场景,从而推动业务发展。这条路比较苦,适合信息化程度高,具有大数据治理和分析能力的成熟金融企业。从数据分析入手来寻找数据应用场景,会陷入技术怪圈,容易追求全量数据分析,全维度数据引入,追求完美技术架构,完美数据应用工具的怪圈。国内某著名四大国有银行中的一个,在升级改造新核心系统和大数据应用过程中,耗用了几千人,投入了几百个亿,花费了五六年,现在还在不断投入中。企业累、员工累、厂商累,大家都伤不起呀。

大数据应用过程中,数据治理、多数据源整合是一个脏活累活。美国大数据企业90%的资源都投入在数据采集、清洗、处理、整合等方面,只有10%的投资用户数据的分析和应用。多数据源的整合和处理是行业的一个难题,哪个大数据企业能够在这个方面取得突破,这个大数据企业就会取得市场领先优势。

  三、引入外部工具和咨询

大数据是一个实实在在技术驱动的产业,金融行业具有数据和应用场景,但是金融行业不具备大数据平台和工具的开发能力。特别是非结构化数据的采集、处理和分析能力。

术业有专攻,科技企业的优势在于技术的专研,特别是多数据源的处理和整合。金融企业内部的数据质量较好,以结构化数据为主,内部已有的数据仓库和BI系统基本上可以满足需要。一般情况下在数据量低于20T,用户数量低于50万时,传统的数据仓库和分析工具可以满足数据分析需要。如果需要处理的数据超过了20T,用户数量超过50万,传统数据平台的投资会高于几千万,投入资金巨大,未来维护成本也很高。这种情况建议金融企业利用大数据平台来处理。在这个量级以上大数据平台处理效率比传统的数据仓库要高很多,总的投资费用和维护费用也要低的很多。

金融企业希望像互联网企业一样,通过采集非结构化行为数据来了解客户行为,提高客户体验,优化交易流程,提高客户活跃程度。非结构化数据采集和处理过程中,需要面对非常复杂的情况,例如客户使用设备类型、操作系统、采集的数据类型、非结构化数据ETL处理、数据采集和分析、数据建模和计算等。这些工作具有较高的技术门槛,大数据公司投入了巨大的研发资源,经过几年的发展,踩了无数个坑,迭代了很多次之后,才找到了一条比较靠谱的技术路线和处理架构。

金融企业在大数据技术研发方面不具有优势,不能够像互联网公司一样,拥有强大的基础技术研发应用团队。金融行业科技部门的优势是对金融业务的了解和数据环境的了解,数据治理和业务系统,不是大数据技术研发和应用。

中国大型国有银行拥有上万名技术开发员工,其技术优势是对银行核心业务系统的了解和应用,但对于基础软件例如数据库和中间件,大数据采集、存储、处理平台不具备研发能力。国有五大行一直在研发自己的非结构化数据采集处理分析平台,投入巨大,几年下来没有任何结果,没到达到应用水平。反而证券公司和股份制商业银行采用市场上成熟的大数据解决方案,上线了一些非机构化数据采集统计分析平台,2013年就开始商用了,在用户行为洞察和应用上取得了一些成果。