寻找供应商
广告
首页 > 汽车测试技术 > 正文

车联网大数据后处理系列文章（一）

2021-11-03 08:58:13·  来源：上海山外山机电工程科技有限公司  作者：许东波  
　
nCode软件实现CSV数据转时域信号关键字：车联网；大数据；信息提取类别：nCode GlyphWorks 软件使用1 背景介绍 根据政府法规要求和企业自身的需要，各新能源汽车
nCode软件实现CSV数据转时域信号
关键字：车联网；大数据；信息提取
类别：nCode GlyphWorks 软件使用

1 背景介绍
根据政府法规要求和企业自身的需要，各新能源汽车企业均已建立了车辆运行监控数据库。这类数据信息多样，数量庞大，且每天都在积累。如何从如此庞大的数据中分析出各细分专业所关注的信息（例如电池使用特征、电控系统实时参数、车速变化特点、驾驶操纵规律等），是每个整车企业及相关零部件供应商都感兴趣且在关注的话题。
不同的数据管理和存储系统，数据的存储格式会有所不同。数据使用的第一步，是将数据格式统一成标准化的时域信号，供专业的分析软件进行下一步的针对性分析。本文通过实际的案例，详细阐述了将*.csv格式数据转化为nCode软件数据格式的方法，供读者参考。

2 典型CSV数据样式
虽然不同的数据管理系统中数据的存储格式有所不同，但均可以转换为*.csv格式供其他专业的数据分析软件读取。少量的*.csv数据文件，可以手工导入nCode软件中转换为nCode文件用于分析。但大批量的数据文件，手工导入不仅效率低，而且有些时候不好实施。因此，大家希望能对*.csv文件转nCode文件格式进行自动化批处理。
Comma-Separated Values，CSV文件以纯文本形式存储表格数据，可以被大多数软件读取。文件可能以每日或每隔一个设定的时间周期自动上传一个文件夹，图1为某一天的典型车辆数据。数据是以功能模块为单位形成单独文件保存，每个文件中又包含采样时间和不同数据通道。进行数据挖掘的首要任务便是把这些CSV数据转换成时域信号，合并成一个单独的文件便于后期处理。






图1 车辆典型原始CSV数据

3 CSV数据转换时域数据
CSV数据转换时域信号数据使用的是x-BigData 2020[1] 流程包中的“原始数据转nCode多列”和“nCode多列转时域”这两个流程。x-BigData 2020是上海山外山机电科技有限公司在 nCode GlyphWorks 2020平台上开发的一个流程包，该流程包可专门用于处理车辆测试监控大数据的转换和分析计算。x-BigData 2020由9个流程组成，如图２所示，各个分析流程已经设定了分析属性的默认值，但用户可以修改这些属性，并可另存为不同名称的流程。




图2 x-BigData 2020流程菜单
流程１中输入的CSV数据第一行是数据名称头文件，但也可以没有头行，数据应包含时间数据列（第一列），可选择的时间数据格式如图３所示。




图3 流程1中时间戳格式
流程２可以将标准化的CSV数据转换为时域数据，可设定采样速率，同时输出nCode时域S3T文件。这样便生成了单个文件的时域信号如图４所示。




图4 转换后的时域信号

4 时域信号的合并

在对每个文件生成时域信号后，可能需要把所有的时域信号进行合并处理形成一个时域文件。这里将使用到的流程是x-Utils-2020[2]流程包中的“数据合并并转换为nCode格式”。合并后的时域数据如图５所示。




图5 合并后的时域信号文件
x-Utils-2020 也是一个上海山外山公司基于nCode GlyphWorks软件平台所开发的流程包，可用于测试数据的操作检查修正比较等，主要功能包含了数据的合并、常用数据格式的转换、通道名单位名重定义或修正、通道元数据添加、指定通道的提取、数据通道的替换、自动分析报告、典型数据异常探测修正，以及多个测试数据计算比较报告和统计值的比较分析等。这一流程包无论对于结构耐久或传动或其它应用的数据处理都是一个必备的标准化通用分析工具。

5 自动化批处理功能
上述每一步流程中都已经实现自动化处理，即选中待处理文件后运行流程出结果。但是在步骤之间，仍需手动选择上一步骤处理好的文件，作为下个步骤的输入。如果处理以月计的数据会略显繁琐。我们可以针对需求开发批处理工具，只需指定输入输出文件路径，便可实现一键化全自动处理，是大数据批量处理的必备工具。
自动批处理功能实现的核心是基于nCode Flowproc [3]功能。Flowproc是以命令行提示符批处理模式运行GlyphWorks和DesignLife流程。该过程通过生成*.bat和*.script文件来调用运行流程，同时控制参数设置等。在此基础之上，编写程序自动生成*.bat和*.script文件，配合程序打包的*.exe可执行文件，无需打开nCode软件便可一键式全自动运行流程。该方法特别适用于流程复杂且固定，同时流程使用频率高的情况。
读者如果有任何疑问，欢迎在评论区留言讨论。
参考文献
[1] x-BigData-2020_installation_swins, SWINS, 2020
[2] x-Utils-2020_user_guide_swins, SWINS, 2020
[3] Batch Operation User Guide, HBM-nCode, 2020
分享到：
 
反对 0 举报 0 收藏 0 评论 0
  • 汽车测试网V课堂

    汽车测试网V课堂

  • 微信公众号

    微信公众号

  • 汽车测试网手机站

    汽车测试网手机站

• 新型BREZZA和FRONX的空气动力学发展 • 一文讲清中、欧、美对智能远光控制IHBC的法规要求
• 理工雷科：电磁环境建模技术在智能网联汽车仿真测试中的应 • 测试基础｜汽车软件测试术语解释
• 带载温度循环耐久（PTCE）的深度解读 • 400公里/时，超级跑车选用imc验证车辆行驶安全
• 关于汽车电子电磁兼容系列标准大盘点 • 一些关于实现整车级SOA软件架构的建议
• 近距离横向行驶道路车辆的气动阻力 • 一文讲清欧美日澳对倒车影像的法规要求
0 条相关评论

上海山外山机电工程科技有限公司

TA的全部文章
  • 广告
  • 广告

编辑推荐

最新资讯

  • 广告
  • 广告
沪ICP备11026917号-25