数据采集不同阶段总是有新难题,采集到数据后,如何挑选出合适的数据管理软件来存储、处理和共享海量的数据呢?数据文件的格式、要处理的数据量等都是必要的考虑因素。
NI专家认为,选择数据管理软件之前绕不开6大灵魂拷问:
选择测量系统数据管理工具,首先要考虑两个主要区别:第一,数据存储文件格式;第二,数据量。
传统的文件类型很少能满足您对文件格式的所有要求。例如,ASCII文件格式可互换,但却非常庞大而且无法快速读写。二进制文件的读写速度可与高速硬件媲美,但该格式的文件很难共享。
而技术数据管理流(TDMS)文件格式则完美地解决了这些难题。TDMS文件基于TDM数据模型,能够以清晰的架构保存测试与测量数据,并提供完善的文档记录。
传统的数据管理工具试图将每个数据点加载到内存中,然后打开一个大的数据文件,这可能需要耗费许多宝贵的时间。这些基于单元格的灵活工具非常适合需要对单元格数据进行可视化的商业报表,但对于具有数百万个值的数据集,则会增加不必要的内存开销。为了避免潜在的内存问题,传统的报表工具通常会限制为给定列加载的数据值数量上限。这通常需要选择新的文件格式(事后可能需要重新构建应用程序)或将数据分割成许多小文件,重新调整存储策略,这样您的报表工具便可打开它们。
在设计DAQ系统时,请确保您的数据管理工具能够处理您的文件格式以及您打算获取的数据量(保持一定的灵活性,以便适应未来采集数据量增加带来的需求变化)。
在选择数据管理软件时,应考虑后期的数据处理需求。可查看数据管理软件手册,看看该软件是否提供了系统所需的数学计算、绘图和数据精简功能。
03、我的数据管理软件能否提供我需要的可视化技术?
就报告功能而言,您可能至少需要基本的图表和图形绘制功能。幸运的是,市场上几乎所有的数据管理工具都可以制作简单的图表和图形。但是,请确保这些图表可以绘制出要绘制的数据量,因为许多图表和图形只能够处理有限的数据量。
如果您认为可能需要在一个图表上绘制多条具有不同Y轴比例尺的曲线,则您的报表工具需要能够区分这些标度。虽然许多工具都可以实现,但它们也有一个限制性的最大y轴数量。
另外,考虑一下您的报告需求是否超出了基本的二维绘图。例如,如果您需要使用极坐标图表示数据,或者如果您的数据最好用三维图形表示,则您的报表工具必须支持这一点。
很多时候,您需要针对一系列原始数据文件生成相同类型的报告。例如,如果您每周需要运行相同的测试,并且必须报告标准化的结果,则必然需要使用一个报表布局来汇报不同的数据集。传统的报表工具会将报表显示方式与原始数据一起保存在一个通用的电子表格文件中,这大大增加了使用特定报表方式来汇报多个数据集的难度。每个数据集最终都有各自的报表布局和格式,这意味着如果您需要对布局或格式进行修改(例如,更改曲线颜色之类的简单操作),则必须每个文件都修改,才能实现该更改的标准化。
通过创建模板,您可以更轻松地创建自定义报表,从而使用新的数据和结果进行更新。如果未来需要针对多个数据集多次创建相同的报表,则需要使用一个数据管理工具,来生成报表模板并将其应用于不同的原始数据文件。
DAQ应用通常有两种类型的报表:临时报表和重复性报表。临时报表是偶尔生成的报表,通常采用互动、定制的方式。相对的,重复性报表是需要频繁生成的报表,通常是标准化的,并且经常使用模板。如果您有重复性的报表需求,请确保您的数据管理软件具有自动报表生成功能。
报表具通常以易于交换的格式呈现最终输出,这样您就可以发送(通过电子邮件)、打印或呈现相应数据,而不受原始数据文件格式的影响。大多数报表具都可将报表导出为多种格式,但请确保您的工具支持最常用的格式(PDF、PowerPoint、图像或HTML)。
此外,如果您有大量的报表需求(例如,如果您的报表通常涵盖几十页),请确保所选报表工具可以按您需要的大小以所需的格式导出报表。