数据作为企业核心资产，需要对其精细化的管理、整合、分析，为企业决策提供有价值的信息支持。在大数据时代下企业信息系统及信息数据爆炸式增长，数据孤岛、数据杂乱、计算薄弱等问题日渐突出，严重制约了数据价值的发挥和业务的创新。

先维深耕大数据十余年，运用最新的大数据技术，成功研发出了先维数据开发平台产品。该平台致力于将标准的大数据治理理论与先进的数据开发技术融合，指导企业大型数据开发项目高效实施，以充分释放数据的无限价值，推动企业数字化转型。

一、数据开发的难点

企业经营过程中需要统计分析经营状况、生产进度、质量缺陷等业务，以数据驱动生产决策。为了满足上述需求，研发人员通常需要整合全公司的数据资产，将数据统一汇总治理后，形成完整的明细数据，然后对明细数据做统计分析。在开发实施阶段如果没有优质的数据开发平台作为支撑，将会遇到以下难点：

• 数据采集多源化：面对多样化的数据协议和类型，需要一款既能处理多源异构数据采集，又具备大规模任务监控与管理，并能应对海量数据采集压力的工具；
• 数据开发规范化：原始数据分散且复杂，开发需求众多，需要一款既能高性能开发，又能规范数据模型并简化编码维护的工具；
• 调度编排智能化：数据采集汇聚与开发构成了一条完整的血缘链路，需要一款既能处理海量任务依赖编排，又能实现任务监控管理，并能解决运行时资源规划问题的编排工具。

针对上述难点，先维最新推出了数据开发平台V5.0，该产品提供采集、开发、调度、运维等数据开发全流程功能，旨在为数据分析业务提供稳定、高性能、标准化的服务支撑。

二、数据开发平台介绍

先维数据开发平台基于最新湖仓一体技术架构，具备PB级超大规模数据采集、数据存储、数据开发能力，可以处理结构化、半结构化和非结构化数据。平台将优秀的技术架构与数仓理论相结合，智能引导用户完成标准化、规模化的数据开发项目。5.0版本提供以下功能：

1、数据采集

数据采集功能采用分布式流批一体数据接入技术，提供开箱即用的数据接入和监控运维能力。

• 支持50种以上数据协议，支持结构化数据、NoSQL、文件系统、时序数据、自定义接口协议等，支持国产数据库适配，基本满足市面上所有数据库接入需求；
• 提供开箱即用的数据采集任务编排开发工具，支持多协议接入、数据处理、转换编排、多协议输出等功能。支持研发环境和生产环境任务切换，保障生产环境安全稳定。

2、数据开发

数据开发功能采用最新湖仓一体架构，具备优秀的计算能力，提供离线开发和实时开发两种方式。

• 离线开发具备高吞吐、规范化、智能化特点。基于MPP并行计算架构，可实现TB级数据聚合计算；提供标准化数仓体系功能，实现数据分层复用；提供智能化代码提示，提高开发效率；
• 实时开发功能具备高性能、易操作、功能强特点。支持毫秒级数据响应，上千个任务并发；采用拖拽式操作，以低代码方式构建开发脚本；实时开发支持算法调用，同时支持自定义高级算法，可实时处理复杂业务。

3、任务调度

任务调度功能采用分布式并行调度技术，为大规模数据开发脚本提供零入侵式DAG调度功能。

• 支持平台内置采集任务、开发任务及外部自定义接口调度编排。提供可视化DAG编排操作，支持串行、并行、异步等编排场景；
• 采用智能优化策略，可根据任务优先级及系统存储、计算等资源的综合评估，智能优化调度方案，避免资源的闲置和竞争，从而提高整体系统的效率和性能，同时满足业务及时性的需求。

三、平台领先优势

1、架构优势：先维数据开发平台同其它大数据产品均进入国家信创产品名录，基于最新一代湖仓一体大数据架构构建，具备PB级超大规模数据处理、数据存储、数据分析能力。

2、采集优势：支持结构化数据、NoSQL、文件系统、时序数据、自定义接口协议等50种以上协议，并支持国产数据库适配，基本满足所有接入场景。

3、开发优势：支持离线、实时两种开发场景，满足所有复杂的OLAP数据分析需求。同时，平台将标准的数仓开发理论融入到产品设计中，以专业的理论体系指导用户构建大规模数据分析项目。

四、最佳实践案例

案例1：工业企业生产数据融合需求

工业企业需要将设备运行数据和工艺标准融合分析，实现设备健康自动诊断、产品工艺合格判定等业务需求。

解决方案

基于先维数据开发平台的数据采集功能，实现多协议、多时序、多模态数据的采集，通过对接传感器数据、视频数据、业务系统数据，并将数据结构化处理，通过对时间序列、业务标识等参数的预处理，对齐数据的时间和业务维度、拓展数据维度和指标信息、厘清数据链路，实现工业数据和业务数据的融合治理，为设备健康自动诊断、产品工艺合格判定数据分析场景应用提供标准化明细数据。

案例2：能源企业数仓建设需求

能源企业需要实时监控和分析能源生产、消耗、设备状态等数据，以支持快速决策和故障预警；此外，还需利用海量历史能源供销数据及当前环境、工业用电、城市用电等参数，推导出用电需求，从而为优化运营和降低供应成本提供决策数据支撑。

解决方案

首先，基于先维流批一体数据开发功能，实现对实时数据的接入，在接入过程中通过数据预处理技术，对实时数据的清洗、整合，形成标准化日志数据输出。然后，基于先维数据建模平台自定义开发设备故障预测模型、能源供销平衡分析模型等工业模型。最后，将标准化日志数据通过标准协议对接至工业模型中，实现工业数据实时分析，为故障预警、用电需求预测等上层应用提供决策数据支撑。