大数据创新应用:高速公路的数据存储及处理

大数据在智慧高速中的创新应用
▲图1大数据平台架构

高速公路的数据存储及处理

高速公路中产生的车辆动作和收费员动作、信息采集系统等产生的海量数据都进入大数据平台进行存储和处理。这些结构复杂,形式多样的海量数据,对数据存储和处理提出了很高的要求。大数据平台支持兼容Oracle 、DB2 、Teradata数据库/数据仓库SQL方言,可以轻松的将数据从传统架构中进行迁移,所以方便应用研发人员利用这一特性实现数据处理核心的升级换代。同时,TDH支持低延时和高吞吐的实时计算场景,可实现基础结构化数据、非结构化数据和流数据的存储,并随时无缝扩容。大数据平台基本架构在于,对全省高速路网监控收费运营数据进行采集和整合,进入数据中心,基础数据库经过大数据平台处理形成专题数据库,然后将路网设备设施等资源统一融合,形成GIS和视频支撑平台,继而在集成平台以GIS和视频平台做支撑形成五大应用系统相互协作,最终在终端设置,如监控中心的监控大屏、会商室显示、普通的监控工作站、移动终端等设备上进行展示和发布。

高速公路大数据由几个大的部分构成:高速收费数据主要应用于收费管理、风险管理、运营优化;监控设备数据主要应用于视频监控、运营管理、指挥调度;交调设备数据主要应用于基础采集、运营管理、指挥调度。交通数据尤其是视频数据和图像数据,在一个省份数万个摄像头下,以TB量级甚至PB量级增长,数据量巨大,在大数据平台支撑下,完成平滑扩容和查询分析等业务应用。

智慧高速中的大数据应用

大数据平台的处理

大数据平台把实时数据,包括高速公路上的收费、监控等实时数据上传,与传统业务数据进行整合,包括一些城市交通等外联单位的历史数据。将各类结构化、非结构化、半结构化的数据,包括监控图像、抓拍信息、收费日志和视频等信息,进行数据集成、数据转换处理,然后各自建模分析,形成专题数据,把专题数据应用到相应的应用系统中,提供支撑。

主要应用方面

大数据在高速中的应用主要包括以下几方面:

(1)客户服务。在ETC用户管理与车辆引导中,主要使用Apriori算法进行关联分析,提供客户增值服务和精准信息推送,同时满足客户关系管理的要求。可以根据客户的车辆迁徙路线等分析,进行相关的路线信息推送等。

在ETC用户管理与车辆引导中,基于客户历史迁徙路线和商品购买历史,运用高维矩阵分解方法,发现客户购买偏好和潜在需求以及出行规律。当客户通过ETC时,实时拍照识别鉴定客户之后,基于客户车辆历史通过卡口数据,调用训练好在线数据挖掘模型,可以以大数据可视化的方式显示出来客户迁徙路线,并预测出客户未来迁徙线路,进而进行精准的地点线路信息推送。

路线迁徙的可视化和路线预测的建模过程如下:

利用大数据可视化方法,不仅可以详细每个车辆在地图上车辆行驶轨迹,而且可以显示所有车辆的运行总线路。例如春运年前的时候,可以看到小轿车大部分都是从北上广深流向中西部城市,年后的时候大部分车辆向北上广深汇集。再者,某个客运或者货车司机的路线有其固定的运行线路。路线预测建模过程如下:

基于客户信息、车辆信息、车辆通过何时通过卡口数据历史数据,利用关联分析和高维矩阵分解方法,找到车辆和卡口进出对应关系,预测客户在下一段时间会通过的卡口,进而预测车辆行驶轨迹,从而提供精准的信息推送。

(2)运营优化。通过流式机器学习实现时效分析,提前预警,协同各单位指挥调度;在进入大数据平台之后,通过数据分析,可以通过高速公路热点视频查看,进行自动推送;建立领导驾驶舱,设定流量排名,为优化运营提供决策依据。

通过流式机器学习实现时效分析,提前预警,协同各单位指挥调度;在进入大数据平台之后,通过数据分析,可以通过高速公路热点视频查看,进行自动推送;建立领导驾驶舱,设定流量排名,为优化运营提供决策依据。基于sophon的在线的流式增量机器学习算法,开发时空深度残差网络(ST-ResNet)预测车辆密度。例如把高速公路,划成很多个矩形小区域,多个区域同时分析,它是一种整体性的预测。主要基于平滑性、周期性以及趋势性等三个个时间属性 以及空时间属性和外部天气数据。