echarts动态加载数据库-数据可视化技术研究与应用

2023-08-23 0 2,551 百度已收录

介绍

数据可视化技术是指利用图形图像处理技术的理论,将各种数据转换成在屏幕上显示的图标图像,并进行人机交互处理的技术和技能。 随着现代城市的快速发展和人们生活水平的提高,许多城市都面临着严重的交通问题,影响人们的日常生活。 如何解决城市交通问题已成为世界性的重大难题。 本研究采用大数据可视化的基本思想,利用MongoDB、Echarts、nodejs等相关技术,充分利用道路监控系统作为交通数据采集设备,对交通数据进行采集和分析,并将数据可视化为分析人员解决传统交通数据采集展示过程中查询速度慢、展示效果差、数据挖掘不足等特点。

研究内容

1)

数据可视化

数据可视化是对数据的可视化表示的科学技术研究。 可视化技术是借助计算机图形学和图像处理技术将数据转换成图形或图像并在屏幕上显示出来,并进行交互处理的理论、方法和技术。 它涉及计算机视觉、图像处理、计算机辅助设计、计算机图形学等多个领域,已成为研究数据表示、数据处理和决策分析的综合技术。

数据可视化技术的主要特点是:

(1)交互性,用户可以通过交互的方式轻松管理和开发数据;

(2)多维度,可以看到代表物体或风暴的数据的多个属性或变量,并且可以根据每堆的值对数据进行分类、排序、组合和展示;

(3)可视性,数据可以通过图像、曲线、二维图形、三维体积和动画等方式进行显示,并且可以将其模式和相互关系可视化和分析。

2)

埃图表

ECharts是一个使用JavaScript实现的开源可视化库,可以在PC和联通设备上流畅运行,兼容当前大多数浏览器(IE8/9/10/11、Chrome、Firefox、Safari等),底层依赖为轻量级的 ZRender 是一个先进的矢量图形库,提供直观、交互式和高度可定制的数据可视化图表。 ECharts提供常规折线图、直方图、散点图、饼图、烛台图、箱形图进行统计,地图、热力图、折线图进行地理数据可视化、关系数据可视化。 关系图、树形图、旭日图、多维数据可视化的平行坐标以及 BI 的漏斗图、仪表板,并支持图表之间的混搭。

3)

MongoDB

MongoDB 是一个跨平台、面向文档的数据库。 它介于关系型数据库和非关系型数据库之间,是非关系型数据库中功能最丰富的产品。 它支持的类似JSON的BSON格式数据结构非常宽松,可以存储更复杂的数据类型。

MongoDB 是一个面向集合、自由模式的文档数据库。 它类似于面向对象的查询语言,可以实现类似关系数据库的单表查询的大部分功能,并且支持数据的索引。

MongoDB的具体特点总结如下:

(1)面向集合的存储,方便存储对象类型的数据;

(2) 模式自由;

(3)支持动态查询;

(4)支持全索引,包括内部对象;

(5)支持复制和故障恢复;

(6) 使用高效的二进制数据存储;

(7)自动处理碎片,支持云计算层的可扩展性;

(8) 支持Python、PHP、Ruby、Java、C、C#、Javascript等驱动;

(9) 文件存储格式为BSON。

4)

Nodejs

Node.js 是一个允许 JavaScript 在服务器端运行的开发平台。 它主要用于创建快速且可扩展的网络应用程序。 Node.js采用风暴驱动、非阻塞I/O模型,使其显得轻量、高效,非常适合构建运行在分布式设备上的数据密集型实时应用程序,具有异步风暴驱动、非阻塞I/O O、单线程、性能优良等几个特点。

设计和开发

2.1

架构设计

基于大数据可视化的思想,结合交通大数据的基本特征,如图所示,本研究将交通大数据可视化的技术方案分为以下四个步骤:

图1 交通大数据可视化架构设计

1. 数据采集与存储

数据采集​​是数据可视化过程的基础。 如何及时收集并妥善存储海量交通数据是选择合适数据库的关键。 本系统采用MongoDB分布式存储数据库。

2. 数据转换

由于流量数据量巨大,如果直接从原始流量数据中提取特征,可能会导致查询速度慢、系统卡顿。 因此,需要从原始海量流量数据中提取数据,提取数据的不同特征并保存。 为了保证数据可视化的实时性,需要及时提取海量流量数据的特征,同时对数据进行查询、插入等操作。 高并发可能会导致数据丢失,降低服务器压力。 为了提升数据提取的速度,缓解服务器压力,本系统采用nodejs框架,利用其优秀的处理高并发的能力,编写算法对原始流量数据进行处理,保存结果,优化特征提取率,提高数据可视化的实时性。

3. 数据分析

通过数据量大、各种流量数据之间联系紧密的特点,本系统采用细分分析、比较分析、漏斗分析、队列分析、聚类分析、埋点分析、来源分析、形态分析等多种分析方法。数据分析技术充分挖掘交通大数据的特点,为数据可视化提供良好的数据源。

4. 数据显示

利用Echarts数据可视化工具,结合高德地图,根据流量数据的不同特点,采用地图、漏斗图、饼图、词云等多种数据展示方式进行展示。

2.2

发展

2.2.1 数据采集、存储和转换

由于交通流数据量巨大,如何合理存储数据并优化查询方法成为关键。 在实际使用中,交通流量数据通常存储在Oracle数据库中。 关系数据库存储大量数据后,数据库的性能会下降,查询速度会变慢。 为了满足快速、实时的数据可视化的要求,一般可以从以下几个方面进行优化:

1、数据分表存储,即流量数据按照时间或者其他特征存储在不同的数据表中;

2、建立多种索引,即针对数据库中的流量建立多个索引,以提高查询速率;

3、定期提取数据转移到非关系数据库,利用非关系数据库存储容量大、查询速度快,提高查询速度;

4、提取交通流数据特征,通过定时任务提取交通流数据特征并保存结果。

根据实际需要,本研究构建了MongoDB非关系数据库,定期提取存储在Oracle中的城市高速公路交通流量数据,并使用nosql管理工具进行管理。 由于数据表数据量较大,为了满足数据分析的速度和实时精度要求,采用nodejs工具编写脚本对数据进行开发,定期提取数据各维度的特征数据并存储结果。

图2 Nosql工具管理MongoDB数据库

2.2.2 数据分析与展示

根据各种流量数据的不同特点,采用地图、漏斗图、饼图、词云等多种数据展示方式进行展示。 本研究使用的交通数据主要包括检查站人流数据、违法数据、设备在线数据等。 卡口数据主要包括车牌号、车牌类型、通行时间、通行地点、车牌颜色、行驶方向、车道号等信息,违法数据主要包括车牌号、违法时间、违法行为、违法位置、采集方式、审核员、审核时间等信息echarts动态加载数据库,设备数据主要包括设备上下线信息。 交通管理者在日常工作中比较关心的数据包括实时交通数据、历史交通数据、卡口交通排名、违法位置排名、违法行为等信息。 为了满足交通管理人员日常工作的需要,本研究设计了以下几种显示格式:

1、卡口数据

实时路况及客流量数据:

设计思路:卡点数据包括卡点位置信息,可以根据卡点位置的坐标信息和各个卡点的人流量数据以热力图的形式展示,并且可以显示各个卡点的实时流量在高德地图上可以加载实时路况。 点击查看卡口车流详情,即卡口名称、通行车辆总数以及各方向通行车辆数量;

显示方式:热力图、饼图

图3 实时交通状况及检查点人流数据展示

历史流量显示:

设计思路:过去一周通过卡口的车辆总数对比,主要关注本周卡口流量的变化趋势echarts动态加载数据库,一般采用柱状图或折线图。 本研究中使用的冰川图是一种直方图。 更直观。 通行车辆所属省份统计关注的是当日通行车辆数据中的省份数量。 提取卡口数据中的车牌号信息,确定其所属省份。 首都城市标签编号值。

显示方式:冰川图、中国地图、散点图

图4 历史卡口流量数据展示

图5 历史卡口流量数据展示

历史卡口流量数据详细展示:

设计思路:多维度分析检查点的通行数据。 主要统计的是每小时内通过检查站的车辆总数、蓝黄牌数量、各个方向的通行车辆总数。 通过这种信息反映了一天中各个时段检查站的交通状况,例如早高峰和晚高峰的交通状况等。

显示方式:柱形图、折线图

图6 历史卡口流量数据详细展示

卡口通过车辆数量排名显示:

设计思路:以柱状图的形式逆序展示通行车辆数量最多的检查点和通行车辆数量,以便交通管理人员关注重点路口,优化交通出行。

显示方式:横轴直方图

图7 卡口通过车辆数量排名显示

2. 非法数据

非法数据类型排名:

设计思路:通过展示前十大违法行为数据及其数量,交通管理人员可以查看城市交通中最常发生的违法行为类型,并可以进行有针对性的监管。

显示方式:漏斗图

图8 非法类型排名展示

固定测速设备条目显示:

设计思路:非法数据中有数据来源信息,包括固定测速设备的录入。 通过显示各固定测速装置采集的违章次数,交通管理人员可以掌握各测速点的数据采集情况。 词云中单词的大小可以直观地反映每个测速点采集到的违章数据的数量。

显示方式:词云

echarts动态加载数据库-数据可视化技术研究与应用

图9 定速测试上传排名展示

3. 设备数据

设备在线状态:

设计思路:通过设备在线状态统计,交通管理人员可以检测各类设备的运行状态。 设备状态包括在线和离线两种状态。 装备类型有引导屏、信号机、视频、电警、刺刀等类型。 设备在线状态可以以纵轴条形图的形式展示,方便对比在线和离线设备。 数字。

显示方式:横轴直方图

图10 设备在线状态显示

研究成果

根据实际情况和不同的用户需求,结合各种数据的基本特征,采用分布式存储数据库MongoDB来采集和存储流量数据,并使用nodejs框架编写算法将大数据转换,挖掘交通大数据的基本特征。 并运用多种有效的分析方法对数据估算结构进行分析,从多个维度提取交通大数据的特征以及它们之间的关系,最终基于echarts数据可视化工具呈现数据分析结果,如图所示11.

图11 流量数据可视化展示

结论

数据可视化技术可以运用到人们生活的方方面面。 本研究基于城市高速公路交叉口的交通流数据,结合交叉口导流和路网流传播来分析城市高速公路的车辆行驶规律,实现从全局到局部的交通流。 信息展示,通过echarts等可视化组件之间的交互操作,探索道路交通流量的分布情况,为道路交通管理、城市规划建设、交通相关工作提供数据依据。

关于作者

李虎:连云港杰瑞电子有限公司智慧城市事业部

过去的推荐

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

悟空资源网 echarts echarts动态加载数据库-数据可视化技术研究与应用 https://www.wkzy.net/game/143254.html

常见问题

相关文章

官方客服团队

为您解决烦忧 - 24小时在线 专业服务