产品介绍

　　摘要：本文结合参与的团体标准编制工作，介绍了工业大数据平台-数据治理-技术规范团体标准的制定过程、标准编制过程中的技术、意见的处理等，介绍了工业大数据平台-数据治理-技术规范团体标准的主要内容，对团体标准应用水平的提升、制定和应用推广，具有一定的借鉴作用。

　　2020年4月，工业和信息化部关于工业大数据发展给出的指导意见中，关于工业大数据治理方面，明确指出要开展数据管理能力评估贯标，推广《数据管理能力成熟度评估模型》（GB/T 36073-2018，简称DCMM）国家标准，构建工业大数据管理能力评估体系，引导企业提升数据管理能力。构建工业大数据管理能力体系需要工业大数据治理平台软件的支持，然而，目前还没有工业大数据治理平台的标准材料，因此需要由集信息化与自动化，产品开发、系统集成与工程应用，物联网共性技术与行业知识积累为一体的公司提出并制定。

　　上海市计算机行业协会、宝信软件、同济大学等单位，在工业大数据治理平台标准化工作上已有一定的积累，能够达到形成以技术资源互补、技术创新与共同技术进步的效果。

　　工业大数据治理平台标准，可以很好的指导工业大数据行业的多个产业多方协作，将推动工业大数据市场的良性发展。

　　本标准按照GB/T1.1-2020《标准化工作导则》给出的规则起草，同时参考了有关数据治理和工业大数据的标准，在此基础上编制而成。编制原则如下：

　　编制组对工业大数据治理平台的产品开发过程进行了详细研究分析，借鉴成熟的数据治理平台开发流程和经验，融合工业大数据平台系统的特殊要求，使得整个开发过程更加适用于工业大数据治理平台的产品开发过程。

　　在本标准制定过程中，坚持产学研用相结合，听取各方意见，充分调研国内产业的实际需求，提炼出符合国内产业实际情况的工业大数据治理平台规范。

　　通过定义产品开发过程中的流程及关注点，指导各行业工业大数据治理应用开发过程，增强标准的可实施性。

　　可以基于《工业大数据平台技术规范-数据治理》标准研制适用于工业大数据治理平台产品，实现工业大数据治理平台技术产业化发展。本标准面向我国工业行业企业发展需求，突破工业大数据治理平台共性关键技术，形成上海市具有自主知识产权的工业大数据治理平台标准，推动产业发展。

　　工业大数据的来源不仅包含企业经营数据，还有来自于传感器采集设备的海量数据，类型以非结构化、时序数据居多，区别于其他行业大数据，工业大数据具有时序性、强关联性、准确性、闭环性的特点。因此，对于工业大数据的治理，需要有更完善的数据治理平台工具来支撑。工业大数据平台应提供的数据治理服务，整体功能组成如图所示，由数据源管理、数据标准管理、元数据管理、主数据管理、数据质量管理、数据资产管理、数据安全管理、数据生存周期管理等多个产品模块组成的数据治理开发平台，产品应具备开发便捷、部署灵活的功能特性，模块之间应能够独立或组合使用，可以覆盖数据治理的各个环节，从而能够满足企业高效实施工业大数据的数据治理场景。

　　由于工业大数据具备采集频率高、通量大、采集协议多样、时序性的特点，平台应提供不同存储方案支持工业数据的存储，适配多种协议的采集接口，实现规范化采集管理，并支持对采集的数据进行噪音处理、异点剔除、简化处理等操作。

　　在实际工业场景中，工业数据采集会出现多种采集协议，导致实现工业协议的互联互通出现极大的难度，因此，平台应提供工业互联网网关功能，支持多种物理接口、通信协议和工业标准协议，将不同协议进行转换，并对数据进行加密，以统一的通信协议将数据发送到云端。

　　工业场景的采集数据从各种不同的专业系统汇聚而来，其数据的类型各不相同、数据的颗粒度也不尽相同，原始结构也各有差异，应支持对数据进行预处理，主要功能有：时序对位、异点剔除、简化处理。

　　用于统一管理整个平台的数据库连接配置信息，数据库存储的数据类型包含：时序数据存储、关系型数据库、非关系型数据存储关系数据库的存储。

　　数据标准管理应提供工具，支持标准数据的录入、导入、检索、落地评估，帮助用户能够快速灵活地创建数据标准，并对标准的使用情况进行跟踪评估，从而通过管理措施改进业务系统的标准化。 数据标准的分类应涵盖如下几类：业务术语标准、主数据标准、参考数据标准、数据元标准、指标数据标准。

　　数据标准管理应提供灵活的操作界面，具体支持数据标准的录入、修改、删除、查询的功能；支持手动填写数据标准的创建方式，同时可以通过元数据生成的数据标准，减少填写内容；支持记录的批量导出和导入，使得用户能在线下整理标准内容，并能够在不同的环境上快速迁移。

　　数据标准的发布过程包含：创建后的标准应提交给管理员进行审核，审核通过的标准方可生效，已生效的标准记录不得修改；管理员可以设置标准记录为作废，审核退回的标准可以修改后重新提交；审核通过的标准即为已生效状态，只有发布后的标准才可以被引用。

　　为检查数据标准的实施情况，应提供标准落地评估功能，统计标准数据在各个业务系统的使用情况，以及对应的差异分析和影响性分析。

　　标准文件管理应支持上传各种国家标准、行业标准、团体标准等文件，类型包含word、excel格式，支持文件的关键词模糊查询。

　　元数据应分为技术元数据、业务元数据、管理元数据，数据治理平台应从各类数据源中提取元数据，数据来源包括关系数据库、NoSQL数据库、工业时序数据库、ETL程序、接口等，并提供元数据的存储、整合、组织管理、统计分析功能的完整流程。

　　元数据采集应支持采集数据源信息的配置，通过选择数据源管理模块中的数据库信息，设置采集参数和采集任务的周期，实现端到端的数据元自动采集；采集的数据源需要支持常见的关系型数据库、NoSQL数据库、工业时序数据库等，其中，NoSQL数据库应包含Hive、HBase、图数据库等。

　　对于不属于平台默认内置适配器的采集，应提供采集适配驱动包上传的功能，从而支持其他类型来源的元数据采集。

　　元数据配置应包含如下功能：元数据查询、元数据新增、元数据删除、元数据分类、批量导入元数据、批量导出元数据：、元数据发布申请、元数据审批、元数据归档。

　　元数据变更管理应提供元数据的变更历史记录的保存和查询功能，用户能够选择不同的版本进行数据导出，比对不同版本之间的差异。

　　主数据管理应提供相关工具，用以支持协调和管理企业核心业务实体的数据，工业主数据的类别包含：物料主数据、工业设备主数据、资产主数据、经营主数据。

　　主数据的集成，应支持根据主数据的标准规范和质量规则，从各个业务系统中提取主数据，并进行编码、转换、清晰等加工处理，最终合并到主数据库中，形成完整、准确、唯一的主数据信息。

　　主数据的配置，支持用户对主数据的手工操作维护，具体包含：主数据查询、主数据新增、主数据删除、批量导入主数据、批量导出主数据、主数据发布申请、主数据审批、主数据变更、主数据归档。

　　主数据的共享应包含数据对外查询接口和数据分发功能，数据对外查询接口用于接收用户发送的查询请求；数据分发用于对外的批量数据发送场景。

　　数据质量管理，应提供工具支持用户自定义质量校验规则，通过定时的质量校验程序识别数据库中的数据质量问题，并且能够生产可视化的质量评估报告推送给用户。数据质量应包含如下检查内容：准确性检查、完整性检查、一致性检查、有效性检查、唯一性检查、及时性检查、稳定性检查、连续性检查、合理性检查。

　　数据质量校验应提供校验任务的执行配置，包括校验任务的执行时间周期、单字段的多规则检查、多字段的同规则检查等。

　　数据质量记录生成后，应提供内置的质量报告模板，根据质量校验程序的执行情况，定期生成图形化的质量报告，格式要支持pdf、word、excel，可以提供在线打印功能。要支持报告的订阅服务，质量报告生成后能即时向订阅者推送报告文档。

　　数据质量分析，应提供多种质量分析报表，帮助用户有针对性地改进数据质量，具体包括：同比/环比分析、占比分析、趋势分析、排名分析。

　　数据资产管理，应基于规范化的数据接口和丰富的图表可视化页面，使得用户能直观地掌握当前数据资产的分布情况、分类情况、使用情况、质量概况等，提供度的资产管理实施工具，从而帮助用户实现数据资产的全景式管理、全生命周期管理、全流程管理，具体内容应包含数据资产分类、数据资产标签、数据资产导航、数据资产统计、数据血缘关系等功能。

　　数据资产分类应提供可视化资产目录化的构建管理、资产分类挂载管理功能，通过资产分类，用户可以根据不同的业务视角来对资产进行分类管理，具体分类方式包含：按数据来源分类、按数据类型分类、按主题域分类、按组织机构分类、按数据层级分类。

　　数据资产标签应提供：层级化的标签类目管理，支持用户按照树形结构快速查找/管理标签数据；标签的设计内容应包含标签名、所属类目、标签逻辑说明、值字典、取值类型等；在管理界面上，应支持资产的批量关联标签，使得用户能够根据业务需要对资产的内涵进行新的组织和定义。

　　数据资产导航定位于提供对数据资产的一键式快速检索，应支持用户根据不同维度的资产分类、标签类目、关键词进行资产查询，在返回的查询结果中，需要包含资产名、资产类型、资产描述、创建者、创建时间等信息，并点击相应的链接，可以跳转到对应的资产明细页面和资产的数据血缘关系页面。

　　数据资产统计，应采用柱状图、折线图、散点图、地图等大数据图表组件，对资产的分布盘点、分层数据的统计、分类情况、资产质量的预警概况、资产使用情况进行直观的图形化呈现，帮助企业管理者全面地掌控数据资产。

　　数据血缘关系应基于可视化图表组件，能清晰地展现出数据的流向路径，支持用户通过血缘分析实现数据融合的可追溯性。数据血缘关系包含：表级血缘关系、字段级血缘关系、记录级血缘关系、血缘关系数据的存储宜基于分布式图数据库进行存储。

　　《工业大数据平台 数据治理 技术规范》（T/SCTA 005-2021）团体标准由上海市计算机行业协会于2021年3月10日发布，从2021年3月25日起实施。

　　建议使用火狐、谷歌、360极速模式、IE10以上版本浏览器访问本站，分辨率在宽1366像素以上。>