javascript 读取 数据-用Javascript手动分析数据的关键是从不同的数据源获取数据

2023-09-02 0 4,312 百度已收录

数据分析是指运用适当的统计分析方法,对收集到的大量数据进行分析、总结、理解和消化,以最大限度地发挥数据的功能,发挥数据的作用。

数据分析流程自动化

随着信息化的发展,数据分析的需求不断增加,并正在触及各行各业。 无论是金融、保险、公司、学校、医院还是机构,都需要大量的数据分析工作。 通过数据分析,我们可以判断事物的状态,掌握数据变化趋势,为正确的决策提供支持。

数据分析过程通常分为三个步骤。 首先是收集必要的数据; 二是设计算法模型来分析数据; 三是用直观的方式解读数据。 许多中小企业仍然使用电子表格处理软件来分析数据,这往往需要大量的人力、物力,而且分析结果的准确性无法保证。

随着企业加大信息化建设投入,逐步完善生产管理、库存管理、销售管理等系统。 如果缺乏统一规划,各个系统就会产生数据孤岛,难以进行整体数据分析。 即使建立了统一规划的集成系统,随着环境和需求的变化,需要采用新的统计分析方法,系统修改和维护的成本也太高。

数据分析流程

为了低成本快速实现数据分析,需要将数据采集、计算分析、分析结果展示的过程实现自动化。 利用低代码平台框架生成自动化数据分析解决方案,有效降低软件成本。 这里我们以木制浏览器为例来说明具体方法。 由于浏览器支持JavaScript脚本代码,因此具体的数据分析算法是使用JavaScript完成的。 通过生成 HTML 网页来突出显示数据分析结果。

首先运行木头浏览器,自动分析结果会直接显示在浏览器的当前页面中。 打开控制菜单中的“项目管理器”,后续所有操作均在项目管理器中完成。

打开项目经理

1. 数据收集

自动分析数据使用JavaScript代码来实现,首先需要收集相关数据,并将这些数据保存为JavaScript变量以供使用。 由于原始数据可能来自不同的系统或文档,作为通用的数据分析平台,Wooden Browser必须提供多种数据采集方式,实现跨平台的数据采集和处理。

1读取数据文件

读取指定文件的内容并保存在浏览器变量中,可供JavaScript代码直接使用。 这样,文档内容就会传递给 JavaScript 变量。

右键单击项目管理器两侧的默认项目,弹出新建步骤快捷菜单,选择“定义变量”,打开自定义变量管理窗口。 这一部分的内容只要是阅读文档,都会在定义变量这一步完成。

自定义变量

1.1. 读取Excel文档

实体店销售表Excel

如上图所示,实体店销售人员手动创建“实体店销售表.xlsx”。 该文件也可以从其他销售管理系统导入并存储在指定文件夹中。 请注意,Excel 工作表只有数组名称的第一行,字段不能具有相同的名称。

在项目管理器中创建的自定义变量步骤中,添加自变量,选择内容来源为Excel文件内容,找到需要读取的Excel文档的路径,设置第一个工作表读取Excel工作簿,勾选批量添加操作,确认后,手动添加工作表的所有数组内容。

项目执行过程中,每次执行该步骤时,都会从Excel工作表中读取一行数据,并以数组的形式存储在相应的浏览器变量中。 如果需要读取整个文档,只需要循环执行这一步,直到读完最后一行数据,手动停止操作即可。

数据已被读入浏览器变量中。 如何给 JavaScript 变量赋予形式参数? 首先创建一个新的脚本代码步骤,并将相应的 JavaScript 变量定义为等于相应的浏览器变量。 如果您不了解浏览器变量命名规则,可以在源代码输入窗口中单击鼠标右键,在弹出的快捷菜单中选择浏览器变量。

浏览器变量是大括号括起来的部分,内容是变量名。 在执行 JavaScript 之前,浏览器会手动将 browser 变量替换为其值。

为了便于识别,在项目管理器右侧的项目树中,将步骤名称分别更改为“1.读取Excel”和“2.引用Excel数据”。

1.2. 阅读TXT文档

由于这个文本文件的格式是不确定的,所以可以先读取整个文件内容,然后JavaScript才能分析标准数据。 以阅读下面的文件为例。

在项目管理器中创建自定义变量步骤。 添加变量时,设置变量名称为“读取txt”,选择内容来源为文本文件,设置文件的完整路径,选择“读取整个文件内容”。 如下图所示,项目执行这一步时,会读取“实体店销售表.txt”文件的内容,然后保存到名为“read txt”的浏览器变量中。

下一步是让 JavaScript 在浏览器变量中使用 txt 文件的内容。 首先创建一个脚本变量step,在代码区定义JavaScript变量text,并将浏览器变量“read txt”的值赋给它。 在JavaScript代码编辑窗口中,可以右键单击鼠标,弹出浏览器变量选择菜单,选择相应的变量。

浏览器在执行这一步之前,首先估计浏览器变量的值,然后用它的值替换对应的浏览器变量名。 生成新的 JavaScript 代码并执行它。 获取整个文本文件内容后,可以使用JavaScript来组织数据格式。

为了使用方便,将步骤3和步骤4的名称改为“3.读取txt”和“4.引用txt文件数据”。

1.3、读取XML文档

读取xml数据时,首先读取整个文档内容并将其保存在浏览器变量中。 然后使用JavaScript读取xml内容并转换为JavaScript对象,方便后面分析使用。

在项目管理器窗口中,创建一个新的自定义变量步骤。 添加变量时,设置变量名称为“读取xml”,选择内容来源为文本文件,设置文件的完整路径,选择“读取整个文件内容”。 如下图所示,项目执行这一步时,会读取“实体店销售表.xml”文件的内容,然后保存到名为“read xml”的浏览器变量中。

下一步是让 JavaScript 使用浏览器变量中的 xml 文件数据。 首先创建一个脚本变量step,在代码区定义JavaScript变量xml,并将浏览器变量“read xml”的值赋给它。 在输入代码编辑窗口中,单击鼠标右键,弹出浏览器变量选择菜单,选择对应的浏览器变量。

浏览器在执行这一步之前,首先估计浏览器变量的值,然后用它的值替换对应的浏览器变量名。 生成新的 JavaScript 代码并执行它。 获取到整个xml文档数据后,可以很方便的使用getXMLNode(自定义函数)将xml格式字符串转换为JavaScript数据对象,然后调用该对象的属性值。

使用方法,这里将步骤5和步骤6的名称改为“5.读取xml”和“5.引用xml文件数据”。

1.4、读取JSON文档

数据格式为json格式的本地文件。 浏览器读取时,首先读取整个文档内容,并将其保存在浏览器变量中。 然后它使用JavaScript读取json内容并将其转换为JavaScript对象,以方便后续分析和使用。

下一步是让 JavaScript 使用浏览器变量中的 json 文件数据。 首先创建一个脚本变量stepjavascript 读取 数据,在代码区定义JavaScript变量json,并将浏览器变量“read json”的值赋给它。 在输入代码编辑窗口中,点击鼠标右键,弹出浏览器变量选择菜单,选择对应的浏览器变量。

浏览器在执行这一步之前,首先估计浏览器变量的值,然后用它的值替换对应的浏览器变量名。 生成新的 JavaScript 代码并执行它。 获取到整个json文档数据后,可以方便地使用“JSON.parse(json)”将json格式字符串转换为JavaScript数据对象,然后调用该对象的属性值。

使用时,这里将步骤7和8的名称改为“7.读取json”和“8.引用json文件数据”。

2. 获取实时数据

数据保存到本地文件,然后浏览器读取数据。 获取数据存在一定的延迟,不适合需要实时分析数据的场景。 如果需要实时分析数据,浏览器需要具备通过网络获取数据的能力。 浏览器可以按照设定的周期获取数据并生成数据分析结果; 它还可以窃听端口并从外部网络程序向浏览器发送数据,触发浏览器接收数据并分析结果。

2.1. 从数据库查询数据

例如,如果用户使用连锁店收银系统,则每个商店的订单和销售数据都存储在数据库中。 您可以使用浏览器直接连接数据库并查询数据表获取数据。

在浏览器项目管理窗口中,创建一个新的“执行Sql”步骤并将其重命名为“执行Sql查询”。 选择要连接的数据库类型。 浏览器支持主流关系数据库Sqlserver、Mysql、Access、Sqlite和Oracle。 设置查询结果返回值为“数据表”。 设置数据库连接参数以及连接远程数据库服务器的用户名和密码。 最后输入查询数据的Sql语句并执行,返回的数据表会显示在运行结果框中。

成功执行Sql查询语句后,浏览器将返回的数据表转换为json格式,保存在浏览器变量中,以供其他步骤调用数据。

下一步是让 JavaScript 使用浏览器变量中的数据查询结果。 在项目管理栏中,创建一个新的“脚本代码”步骤并将其重命名为“参考数据库查询结果”。 在输入代码框中定义 JavaScript 变量 db,并将“执行 Sql 查询”的结果值赋给它。 在输入代码编辑窗口中,单击鼠标右键,弹出浏览器变量选择菜单,选择对应的浏览器变量。

浏览器在执行这一步之前,首先估计浏览器变量的值,然后用它的值替换对应的浏览器变量名。 生成新的 JavaScript 代码并执行它。 获取整个json数据后,使用“JSON.parse(db)”将json格式数据转换为JavaScript数据对象。 使用时可以直接调用对象的属性值。

2.2. 从网页抓取数据

如果数据显示在网页上,您可以实时刷新网页并从页面中抓取数据。 抓取网页内容有两种方法。

第一种方法是在浏览器项目管理窗口中创建一个新的“抓取内容”步骤,添加抓取元素,并将该元素重命名为“文本内容”。 即可以定位整个数据表元素,也可以只抓取一个单元。 Grid,设置捕获元素的Text内容。 获取后,内容存储在浏览器变量中。

要在 JavaScript 代码中引用已爬网内容,请创建一个新的脚本代码步骤并将其重命名为“引用已爬网内容”。 在 JavaScript 代码中,定义一个变量,其值等于爬网的浏览器变量。 不需要手动输入浏览器变量。 在输入代码框中,单击鼠标右键选择所需的浏览器变量。

第二种方法是直接使用JavaScript代码获取网页元素和数据,不需要浏览器变量传递,更加简洁。 在项目管理器窗口中创建一个新的脚本代码步骤,将其重命名为“从网页抓取数据的脚本代码”,并获取JavaScript代码中的所有数据。 如果生成一个对象,使用起来会更方便。

2.3. 向服务器请求数据

一些系统服务器提供API数据套接字供外部程序调用。 该方法性能稳定。 浏览器需要先向服务器发送数据请求,服务将数据返回给浏览器。 在此期间,无需打开网页。

在浏览器项目管理窗口中,新建一个“Http请求”步骤,输入请求URL,选择请求方式为Post或Get,可能还需要根据服务器要求设置Http合约头数据,发送请求并等待返回结果。

由于浏览器会自动向服务器发送请求,因此如果需要实时获取数据分析,就需要在浏览器项目中添加定时控制,按照一定的周期向服务器请求数据。

服务器返回数据后,保存为浏览器变量。 在项目管理器中创建一个新的脚本控制步骤并将其重命名为“引用 HTTP 请求数据”。 定义一个 JavaScript 变量并为其提供服务器返回的数据参数。 一般情况下,服务器返回的数据都是json格式。 只需要使用JSON.parse()函数将其转换为对象字段,更方便地分析和输出对象数据。

2.4. 实时接收数据

如果您需要更高的速度,可以使用浏览器的数据套接字。 其原理是浏览器充当服务器,打开窃听网络端口,并允许其他程序向浏览器发送数据。 当浏览器收到数据后,立即对数据进行分析并输出分析结果。 浏览器不需要发送数据请求,被动接收数据。

在浏览器的主窗体控制菜单中,打开数据套接字设置窗口。

在浏览器外部数据套接字设置窗口中,首先设置本地监控网络端口号,当接收到数据时,需要触发执行的项目,点击启动按钮,会弹出窗口提示数据窗口正在被窃听。

开始窃听数据后,浏览器处于等待数据状态,设置窗口会手动关闭后台操作。 接收到外部程序发来的数据后,立即对数据数组进行识别和分析,启动指定的自动控制项,同时向外部程序回复数据已成功接收的消息。 数据通常以xml格式或json格式接收。

接收到数据后,分解为数组,存储在浏览器变量中,称为外部变量。 这些数据可以通过JavaScript代码获取,在浏览器项目管理器中创建一个新的脚本代码步骤,在代码框中定义一个JavaScript变量,并为其赋予外部变量形式参数。 在代码输入窗口中,单击鼠标右键,弹出浏览器变量菜单,选择需要的外部变量。

2. 数据分析 1. 验证数据完整性

通过各种渠道获取数据分析所需的数据后,为了保证数据分析结果的正确性和完整性,首先必须对获取的数据进行完整性检查。 如果无法成功获取完整的原始数据,则应停止数据分析或提示用户。

由于获取数据时所有数据都已保存在JavaScript变量中,因此总是使用JavaScript来检查数据是否完整。 在浏览器的项目管理窗口中,创建一个新的脚本代码步骤并将其重命名为“检查数据完整性”。 在代码中定义一个数据完整性标志变量dataready,然后根据名称判断数据是否存在。 例子中只判断数据的宽度,最后返回flag变量的值。

只有确定数据完整性标志变量才能选择下一步。 在浏览器项目管理窗口中创建“监控变量”步骤,手动生成两个分支节点Yes和No。添加一个监控变量,并重命名为“判断完整性标志变量”。 这里需要监控JavaScript的dataready变量。 浏览器调用JavaScript变量的格式为“{JSvar:dataready}”。 当判断变量的值为true时,下一步将选择Yes节点继续执行,否则选择No节点执行。

当未获取完整数据且不满足数据分析条件时,执行无分支节点,勾选弹出提醒窗口,弹出窗口会显示“数据缺失,自动分析失败”的内容,停留10秒后将手动关闭弹窗。

2、分析数据输出结果

当获取完整数据并且满足数据分析条件时,执行Yes分支节点。 Yes节点本身不执行任何操作,在Yes节点下添加了数据分析步骤。 使用JavaScript分析数据,在Yes节点下添加脚本代码步骤,并将其重命名为“自动分析核心代码”。

JavaScript 代码可以分为两部分。 一是数据分析的核心算法。 本例中仅以销量估算为例。 二是输出并显示估计结果。 示例中将分析结果与html代码拼接并显示在当前网页上。 如果代码需要引用其他JavaScript库,可以将js库文件添加到软件的js目录下,然后在脚本代码窗口中直接选择引用即可。

3. 数据显示

如何输出数据分析结果就需要使用数据可视化工具。 数据可视化主要致力于借助图形手段清晰有效地传达和交流信息。 例如javascript 读取 数据,使用报告、断线图、柱形图、雷达图、热图等。

在浏览器项目管理窗口中新建脚本代码步骤,重命名为“可视化分析图表”,引用highcharts.js图表​​库,JavaScript只需要设置图表的参数,带有图表的Html源代码即可被生成。

1.页面显示数据分析结果

示例中的代码生成一个柱形图,统计连锁店和在线淘宝销售额。 最后输出到浏览器当前显示页面,图表可以根据数据变化实时更新。

2.保存数据分析结果文件

如果需要更好地分析数据变化轨迹、预测数据变化趋势,往往需要保存历史数据分析报告。 在浏览器项目管理窗口中创建一个新的保存内容步骤,名称为“保存分析结果文件”。 可以选择两种数据保存方式,一种是将数据分析结果保存为Excel表格,并添加要保存的数组和内容; 另一种是直接保存可视化图表页面。 浏览器支持保存按日期命名的文件。 在文件名中输入浏览器变量“{_CurrentDate}”,保存文件时手动将其替换为当前日期。

3.将数据分析结果保存到数据库

如果需要将数据统计分析结果保存到数据库中,在浏览器项目管理窗口中,新建一个执行Sql步骤,选择数据类型,设置数据连接参数和账户密码。 由于写入的数据可能含有特殊字符,尽量不要拼接SQL语句形式。 可以将要写入的数据作为形式参数赋予给sql变量,然后直接在sql语句中使用该变量。 在示例中,浏览器变量的 value 参数被赋予 sql 变量@result。

4。结论

数据分析是详细研究和总结数据以提取有用信息并生成推论的过程。 本文使用浏览器工具来自动化整个数据分析过程,从数据收集、分发和处理到可视化输出。 以提升数据分析效率、降低数据分析成本为目的,其可行性得到了有效验证。

在实际使用中,需要根据具体需求制定数据采集方案、编写数据分析代码、数据分析结果的展示方法等。 在如今的联通互联网时代,还可以通过浏览器将数据分析报告推送到用户的手机上。 具体推送方式请参考浏览器使用说明书或官网指导。

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

悟空资源网 javascript javascript 读取 数据-用Javascript手动分析数据的关键是从不同的数据源获取数据 https://www.wkzy.net/game/189605.html

常见问题

相关文章

官方客服团队

为您解决烦忧 - 24小时在线 专业服务