广告
大数据时代ODS数据适配器——Peak Spark ODS
2021-12-15 14:27:51· 来源：PeakSolution汽车测试管理
ODS适配器起源ASAM ODS ~ 广泛用于长久存储测试数据的使用的一个标准。汽车制造商和供应商主要使用它来为不同的测试系统和数据格式设置全面的数据管理解决方案。
ODS适配器起源
ASAM ODS ~ 广泛用于长久存储测试数据的使用的一个标准。汽车制造商和供应商主要使用它来为不同的测试系统和数据格式设置全面的数据管理解决方案。通过这种方式，他们使测试数据长期可用，而不考虑各个供应商的工具如何。为了从现有测量中获得更多信息，Peak Solution开发了Peak Spark ODS适配器。
该解决方案允许用户直接访问ASAM ODS（=外部组件）的海量数据。在选择一组测试通道后，例如通过Peak Test Data Workplace，他可以对其执行任意复杂的查询。该解决方案将查询结果作为列表返回给用户。他可以缓存此列表或将其导出为csv文件，例如，为了应用算法和统计方法来检测模式，关系和集群。
适配器的实现基于Apache Spark。这样就可以高速对大量数据进行复杂的数据查询并分析数据。Peak Solution推出了一个特殊的插件，用于将测量通道的ODS数据结构作为RDD（弹性分布式数据集）。除此之外，在这个应用程序创建临时数据表（=数据帧）然后使用上述提到的算法进行用户执行。
用户可以使用基于Web的notebook，如Apache Zeppelin或Jupyter，对测量通道进行交互式分析。此工具的最大优势是探索性评估（=数据挖掘）。这允许用户首先获得数据的概述，然后逐渐接近他的分析目标。他可以轻松可视化和共享中间结果。为此，用户只需将其notebook作为网页发布即可。然后，有权限的人员可以查看并继续使用它。
Peak Spark ODS适配器的一个重要优势是它的扩展性：Spark和Zeppelin都不需要Hadoop Eco-System系统。因此，公司可以在其现有的ODS基础架构中充分利用其解决方案，而无需进行大量的IT投资，在逐渐将其构建为强大的大数据集群之前，用于管理和分析大量测试数据。Start small, think tall。
广告 
广告
最新资讯
-
荷兰Zepp氢燃料电池卡车-Europa
2024-12-22 10:13
-
NCACFE -车队油耗经济性报告（2024版）
2024-12-22 10:11
-
R54法规对商用车轮胎的要求（上）
2024-12-22 10:10
-
蔚来ET9数字架构解析
2024-12-22 09:53
-
4G/5G网络新时代的高效紧急呼叫系统NG-eCal
2024-12-20 22:33
广告
广告
