先维大数据平台V9重磅发布，第五代实时湖仓架构来袭！

先维大数据平台历经十余年的精细打磨，在数据整合、治理、开发、挖掘、应用等方面取得了显著的成效，遥遥领先，当前发布了V9版本，该版本采用业界最先进的第五代实时湖仓架构，具备了多源异构融合的数据采集交换、全周期数据治理、多样化数据开发、可视化交互分析应用等全方面的能力及应用。

 

一、先维大数据平台总体情况

 

先维大数据平台围绕数据“存、管、用”维度，提供“研发、运维、管控”的一站式数据管理应用平台，采用第五代实时湖仓架构，覆盖存储计算、数据治理、开发分析和应用服务，打通数据汇聚、数据建模、数据应用、数据服务等各个环节，为行业应用提供全栈开发能力，在制造、交通、能源、公安、海关、传媒等多个领域落地应用实践。

 

平台各应用分层包含以下子系统：

• 存储计算：具有大数据基础平台、异构数据存储平台、流批一体计算平台等子系统；
• 数据治理：具有主数据管理平台、数据交换平台、数据治理平台等子系统；
• 开发分析：具有数据开发平台、建模分析平台、指标管理平台等子系统；
• 应用服务：具有数据服务平台、轻应用开发平台、驾驶舱开发平台、数据决策系统等子系统。

 

先维大数据平台优势亮点

 

先维大数据平台具有体系化的大数据产品、标准的数据治理工具、丰富的可视化组件，可以帮助用户实现对数据的精细化管理，提升数据管理水平和数据资产化能力。总体而言，先维大数据平台的优势亮点可以归纳为以下三个方面：

 

1、理念优势

先维大数据平台以其一站式和开箱即用的产品理念，为用户提供全面有效的解决方案支撑。

• 一站式大数据平台产品理念，集数据采集、接入、处理、治理、组织、分析、可视化、共享、服务、安全、运维于一体;
• 只用一套大数据平台产品，解决所有信息化、数字化、智能化进程中遇到的大数据问题，并提供有效的解决方案和信息技术支撑。

2、技术优势

先维大数据平台采用分层解耦设计，模块自由组合、能力相互结合，全面支持国产化，为用户提供高效安全的信息技术支撑。

• 先维大数据平台演进到业界最新一代实时湖仓架构，针对结构化数据、半结构化数据、非结构化数据的不同特性的应用场景，采用分层解耦的设计理念，模块按照“高内聚、低耦合”的设计要求，可快速满足各类定制化需求；
• 具备流批一体计算架构，可实现PB级超大规模数据处理、数据存储、数据分析能力；
• 全套产品已进入国家信创产品名录，支持鲲鹏、龙芯等国产芯片以及统信、麒麟等国产操作系统。

3、应用优势

先维大数据平台完整的治理体系功能、智能化治理分析工具、多场景数据分析能力和多维度系统运维能力，为用户提供一流的技术底座支撑。

• 完整的治理体系功能：结合DCMM要求和大数据平台理念，提供一套完整、标准化的全周期数据治理体系功能；
• 智能化治理分析工具：提供图形化拖拽交互，智能化开发步骤流程指引，仅需要少量的数据分析技能即可轻松玩转大数据；
• 多场景数据分析能力：提供多样化的数据分析能力，由简到专，多样结合，使数据不再“沉睡”，挖掘数据价值；
• 多维度系统运维能力：基于云原生架构，从设备、平台、应用三个层面提供原子级可视化监控、移动报警推送能力。

二、先维大数据平台能力介绍

 

先维大数据平台拥有集成、治理、存储、计算、挖掘五项领先的大数据技术，通过治理平台、分析平台、建模平台和可视化平台构建了一套全面的大数据产品，具备湖仓一体存储计算、多源异构采集接入、全周期数据治理开发、流批一体数据开发、标准安全数据服务和可视化应用构建等强大的产品能力。

 

2.1 存储计算能力

先维大数据平台采用第五代实时湖仓架构，是具备异构数据存储、流批一体计算的大数据基础平台；在存储计算能力方面，平台为用户提供了离线开发和实时开发两种存储计算功能。

• 离线开发功能：具备高吞吐、规范化、智能化特点。基于MPP并行计算架构，可实现TB级数据聚合计算；提供标准化数仓体系功能，实现数据分层复用；基于AI技术提供智能化代码提示，提高开发效率。
• 实时开发功能：具备高性能、易操作、功能强特点。支持毫秒级数据响应，上千个任务发；采用拖拽式操作，以低代码方式构建开发脚本；实时开发支持算法调用，同时支持自定义高级算法，可实时处理复杂业务。

2.2 采集接入能力

先维大数据平台采用分布式流批一体采集接入技术，为用户提供了开箱即用的数据接入和监控运维能力。在采集接入能力方面，平台集合了同步能力、开发能力、处理能力、管理能力，大大简化了源到端数据采集部署、配置和运维的过程，快速实现多源异构数据集成。平台各类能力包含以下内容。

• 同步能力：支持50种以上数据协议，支持整库同步、实时同步和增量同步；
• 开发能力：提供开箱即用模式，支持拖拽编排、任务调试和一键发布；
• 处理能力：提供数据校验、数据清洗、数据转换和数据关联等数据处理方法；
• 管理能力：支持多租户模式和日志审计，提供资源监视和报警推送功能。

2.3 治理开发能力

先维大数据平台将数据治理方法论全面融入产品，提供专业的数据治理开发应用，引导用户构建优质的数据底座，将数据分类分级和数据安全贯彻产品始终，为应用侧提供安全、高效的数据服务。在治理开发能力方面，平台为用户提供了数据全生命周期管理指导，涵盖数据接入、数据治理、数据开发、数据服务等阶段。

• 数据接入：通过无代码配置及定制化开发组合的方式实现关系数据、文件数据、消息队列和专有API的数据集成，提供分布式交换服务；
• 数据治理：基于元数据管理开展数据标准制定和数据分级分类，并通过关系提取形成数据血缘；
• 数据开发：运用实时开发和离线开发功能进行数据建模，构建原子、派生、复合等各种指标模型；
• 数据服务：基于统一的服务总线实现资源注册、服务注册、资源申请和服务鉴权，并通过集中化的监控和日志记录功能实现日志审计。

2.4 数据服务能力

先维大数据平台依托大数据存储，基于微服务架构实现统一服务总线及认证鉴权，基于标准服务规范为关系分析、预警告警、决策分析、统计报表、时空分析、图上指挥、布控监控等上层应用提供数据支撑。在数据服务方面，平台为用户提供了数据查询、订阅、布控、分析、推送、管理等服务，具有高性能、高并发、高可用、数据安全隔离等特点。

2.5 应用构建能力

先维大数据平台提供报表、表单、仪表板、驾驶舱等低代码应用开发工具，以可视化交互方式构建数据应用。在应用构建能力方面，提供了推拽设计器和丰富的组件，支持30多种数据库协议、内置50多个应用模板和100多个可视化素材，用户可基于应用模板和素材，轻松实现数据应用开发和发布，帮助用户洞察数据本质，发挥数据价值，在数十个项目实战中取得良好效果。

2.6 建模分析能力

先维大数据平台提供基于WEB的在线拖拽交互方式，可视化构建数据分析模型，满足复杂的模型编排分析场景需求。在建模分析能力方面，平台提供50种以上分析算法，支持自定义算法，用户可以选择拖拽交互、SQL脚本和Python脚本三种开发方式建模；模型分析采用分布式并行计算架构，在TB级数据量场景下，计算性能优秀。

2.7 安全运维能力

先维大数据平台基于云原生技术架构，涵盖微服务、容器化和自动化管理，从设备、平台、应用多个维度，提供可视化运维监控和系统部署功能。在安全运维能力方面，平台为用户提供了可视化页面，可查看设备CPU、内存、磁盘、网络等数十个运行指标；同时，支持先维大数据所有产品套件的监控，包括集群节点状态、平台运行状态、数据存储状态、数据源状态等，以及应用服务的监控，包括应用状态、告警日志、日志分析、应用监控，并且支持自定义拓展。

三、先维大数据平台使用场景

 

场景1：以数据驱动构建完整的数据决策系统

完整的数据决策系统建设路线通常分为四个步骤：

第一步：调研企业生产系统数据资源情况，如数据协议、数据字典、数据量及数据表业务关联情况等。

第二步：通过数据交换平台，配置交换任务，这个过程通常需要深入业务系统，厘清业务，并依据数据标准搭元数据存储模型。在交换平台配置协议、抽取任务、预处理任务、调度任务等方式，将数据抽取到数据湖仓。

第三步：基于数据湖仓数据，对数据进行治理。具体操作是：

1. 根据业务建主题域，并根据数据标准建设元数据资产；
2. 针对元数据模型配置表和字段级的分级分类权限，以控制数据访问安全；
3. 基于原始数据，采用数据分层抽象思维，对数据进行建模开发，最终输出数据集市、数据指标等数据资产；
4. 通过数据质量监视模块，可通过6个维度，对所有数据资产进行监控；
5. 所有数据资产，依据元数据模型开发，通过物理模型和逻辑模型映射方式，自动提取血缘关系，便于用户直观了解数据资产地图及依赖关系，解决数据难运维、难监控、难下线等问题；
6. 最后基于数据服务平台，提供数据共享接口，基于数据资产和分类分级配置，实现数据安全共享。

第四步：基于无代码应用开发平台，以可视化的形式构建报表、仪表板、驾驶舱等，实现指标数据、统计数据等信息的可视化呈现，提供数据决策。

 

场景2：解决数据孤岛问题，实现各个业务系统数据汇聚

目前，大多数企业存在数据孤岛问题，数据通过erp、mes、oa、excel等系统，甚至纸质、消息方式进行流转，出现了数据调用难、数据复用难、数据决策难、根因分析难等问题。

数据调用难：大量关键手动报表取用困难，需要定期抄录，工作量大；

数据复用难：生产数据独立于各个系统，部分业务重叠，数据重复上报，数据错乱；

数据决策难：大量数据分散在系统，无法快速归口做关联指标分析或缺乏数据支撑，难以做生产决策；

根因分析难：关键设备需要多维度、多时序关联分析，数据协议复杂且量大，无法快速取出做全方位根因分析。

先维大数据平台通过集中配置采集任务和提交运行任务，将数据统一汇聚到湖仓，为数据分析提供稳定、高效的数据支撑，并基于统一监控运维，提高运行安全。该解决方案具有开箱即用、稳定高效、安全可视等优势。

• 开箱即用：提供开箱即用客户端，采用拖拽+低代码开发方式，并提供案例，简单易上手；
• 稳定高效：基于分布式数据交换服务，硬件资源动态分配，支撑高并发、多源异构数据接入需求；
• 安全可视：提供活动任务及活动用户全方位监视审计看板，支持报警推送。

场景3：深度治理企业数据，提高数据资产质量

闭环的数据治理通常分为六个步骤：

• 第一步：开展数据调研，确定数据治理章程及范围。
• 第二步：参考国家和行业数据标准，制定企业数据标准。
• 第三步：自动化提取内外部数据源的元数据。
• 第四步：在大数据平台建立数据标准与元数据的关系映射，实现技术贯标。
• 第五步：运用大数据平台开展数据质量管理，创建数据质量检查任务，发布数据质量缺陷报告。
• 第六步：优化数据质量缺陷，跟踪质量优化趋势。

场景4：推动数据标准落地，优化信息系统质量

数据标准落地执行需要从管理制度和信息技术两方面共同推动。

通过管理制度驱动数据标准的制定，需要取得组织上的重视。数据标准制定的过程包括：规划标准、调研现状、制定规范、制定标准、发布标准、执行标准、监督标准、复审标准、变更标准等。

数据标准发布后，需要依赖信息技术手段，让标准文件贯彻到各生产经营系统中，一般指大数据平台系统和生成业务系统。依托先维大数据平台技术，通过数据标准管理、元数据管理和数据质量管理，可以实现对数据标准的技术贯标；数据标准技术贯标的过程包括：标准管理、生成质量规则、映射元数据、监测数据质量、评估标准影响，以及优化信息系统。

 

场景5：精细化管理数据权限、全面数据安全审计

数据服务平台采用精细化的数据权限设计，实现数据安全共享。数据权限控制，需要在治理平台侧和服务平台侧共同配置，总体通过以下四个步骤实现：

第一步：在治理平台侧，围绕数据分级，提前预置好保密级别和数据加密脱敏规则，便于对所有数据资产统一贴“安全标签”。

第二步：梳理所有数据资源访问用户，针对给每个用户设置“可访问数据级别”。

第三步：梳理所有元数据资产，给每个元数据模型和字段设置“数据受限级别”和加密脱密方法。

第四步：基于元数据逻辑模型，实现对实体模型的关系映射，所有数据开发和共享服务，均面向逻辑模型开发，不直接基于数据库协议面向物理模型，直接屏蔽了数据协议。实现协议使用安全、高并发调度安全、访问熔断限流等，进而保障了数据访问安全。

服务平台侧提供了数据资源申请审批、数据共享接口开发、数据共享服务等功能。对于共享的数据接口，将按照数据分级配置，对用户进行认证、权限校验等安全控制；所有注册用户、服务接口、接口日志均会通过权限扫描模块探测，异常信息通过移动端报警。

四、先维大数据平台行业案例

 

案例1：公安大数据

公安大数据实战分析平台是针对海量警务数据汇聚、融合、管理、分析挖掘的基础支撑系统，结合公安实际数据情况，经数据采集交换系统、数据加工整合系统、数据共享服务系统、数据治理管控系统、数据资源池等模块的数据加工与处理，实现公安内部、社会数据、以及互联网数据的采集和整合，打破信息壁垒，为各业务警种综合研判所需的大数据分析提供基础数据。同时，面向信息检索、数据分析和专题应用需求构建的主题库及专题库，运用建模分析对数据开展深度挖掘，提高全域感知能力和精准预测分析能力，实现公安警务效能的最优化。

 

案例2：互联网舆情大数据

先维舆情网采用大数据与云计算技术，为用户提供了一个全面的网络舆情监控解决方案。通过构建互联网大数据中心，集中处理和分析来自不同来源的海量数据。针对舆情工作中常见的问题，如信息收集不全面、数据分析不深入和响应速度不及时等，均提供了有效的解决方案，并以云服务模式为广大客户提供基于全终端、全方位的舆情信息监测服务。

 

案例3：工业大数据

智能制造工业大数据综合管控系统基于先维大数据平台开发，集工业监测、采集对接、融合分析、监控展示、生产管理于一体的大数据平台，符合现代化智能工厂的设计要求。整个系统具备大数据商业智能分析、在线搜索和挖掘、自动报告和报表、生产流程监控及改进、产品的生产及质量管理、生产全流程移动化管理等功能，通过建设系统，实现企业数据资源的集中及整合，构建统一的数据管理策略，实现数据的标准化和规范化，提高数据的共享和利用程度，对企业提供数据服务，实现数据的深度分析挖掘，为企业提供决策支持、产品创新、交叉营销、服务支撑、生产改良、风险管控、流程优化等支撑服务。

 

案例4：交通大数据

交通大数据平台是面向大交通综合业务的一站式数据管理平台，支持基于端边云架构建AI能力，形成数智融合能力支撑，为数据的全域汇聚、统筹治理和深度利用提供技术底座，助力实现“面向需求、业务融合、数据共享、成果共用”的目标。平台标准的数据治理工具有效支撑数据治理专题工作，建立数据全生命周期标准化管理机制并在平台内落地实施，保障核心领域和重点板块高效开展数据治理。同时，平台打造“统一应用中心”聚合全域数据应用，实现多渠道多业态数据资源的采集、处理、聚合、共享及分析服务，促进内外部数据资源融合，强化数据要素价值的深度挖掘，提升智能化管理水平和服务水平，赋能规划建设、道路养护、指挥调度、公众出行等大交通关键业务提质增效。

 

案例5：园区大数据

先维园区运营服务一体化系统实现了园区管理的全面智能化和数字化。该系统通过构建全景式的智能运行中心，实时监控和分析园区内的各种运营数据，实现对园区内外部资源的高效管理和优化配置。对内，平台通过智能算法和自动化工具，实现智能运营管理，提高园区的运行效率；对外，系统整合公共服务接口，为园区内的企业和访客提供快速、准确的服务；同时，基于数字孪生技术创建了园区的虚拟模型，帮助用户更好地了解园区布局和设施。系统提升了园区的内部管理水平，也为用户提供了高效、便捷的公共服务，助力园区运营智能化、服务化转型。

 

案例6：安全大数据

网络安全态势感知系统定位于监测、防御、处置网络安全风险和威胁，全方位监测全域内的安全隐患、全流量的安全威胁、探测网络资产的安全风险，面向威胁行为进行精细化拦截阻断、动态协同防御和协同处置，通过预警、处置等方式实现全局面网络安全的态势感知，保障设施免受网络攻击、入侵、干扰和破坏，维护网络环境的安全稳定。