返回首页
您的位置:首页 > 新闻 > CCF聚焦

数据治理赋能工业制造 | TF81活动回顾

阅读量:338 2022-11-28 收藏本文

11月8日,CCF TF第81期活动“工业制造中的数据治理”吸引了近2000人在线聆听并参与互动,探讨技术理论知识及实战经验。来自知名高校、数据治理行业及制造头部企业的资深专家围绕主题从不同层面分享了研究成果和行业最佳实践,同时与参会者进行热烈的学术交流。期待大家参与智能制造SIG接下来的一场活动,具体时间可在文中获取。


在制造业数字化升级进程中,随着数据资源的爆炸性增长,企业面临着数据标准不统一、数据信息分散、数据质量参差不齐、开发维护困难等问题,因此,数据治理对于制造企业数字化转型至关重要。如何解决数据孤岛、提高企业数据质量、统一数据标准,释放数据价值,进而让数据更好地服务并赋能业务是制造业企业数字化转型面临的重要挑战。


在本次的会议中,参会者倾听了广东省信息消费协会副会长、深圳市CIO协会专家委员会副主任、深圳德讯信息技术有限公司首席专家蔡文海;北大CIIM电子商务大数据开放实验室副主任、成都信息工程大学产业互联网研究院大数据分析实验室主任鲁四海及联宝科技数据管理及大数据应用负责人吴堃昊对工业制造中数据治理相关技术理论及应用的见解。来自高校、科研院所及各行各业的参会嘉宾享受了此次的线上盛宴并围绕主题展开了深入探讨。


图片

CCF TF智能制造SIG主席、联想集团副总裁、联宝(合肥)电子科技有限公司PC业务群组总经理、研发中心总经理袁康首先作开场致辞。袁康在计算机系统结构、产品创新设计、智能制造中的数字孪生、工业大数据分析与应用、人工智能及视觉识别等领域都有着丰富的经验,简洁的开场介绍就将参会嘉宾带入了思考,当前数字经济已经成为推动中国经济高质量发展的重要引擎。数据已成为企业的核心资产,充分利用数据驱动业务创新与发展,已经成为千行百业的共识。在制造企业的数字化转型过程中,数据已成为推动企业数字化、网络化、智能化发展的关键生产要素。数据治理是赋能制造业转型升级实现企业数据资产价值创造的基础。由此引出了嘉宾对工业大数据相关的深入分享。

工业制造中面向数据价值的治理

 

图片

蔡文海分享内容


主题分享中,广东省信息消费协会副会长、深圳市CIO协会专家委员会副主任、深圳德讯信息技术有限公司首席专家蔡文海介绍了数据治理的国家标准,提出将IT的治理思想应用在数据治理的领域,指出数据治理的主要维度有数据管理体系的治理和面向数据价值的治理,并通过实际案例详细讲解数据如何来、如何存、如何管、如何用,从实践角度解读了数据治理的国家标准。蔡文海从形成统一业务视图、构建统一的数据模型、建立统一的基础数据标准、设计信息资产的共享平台、制定数据资源发展规划等几个方面对面向数据价值的治理过程展开了详细阐述。当前,企业出现信息孤岛的问题很多都是在业务层面上,因此要把数据治理做好,首先在业务层面要有统一的业务视图,在业务层面做统一的管理。其次业务中的数据最终要落到IT系统的管理、数据架构和数据模型层面,因此在IT层面或者说数据层面要有统一的数据模型。之后还需要有数据标准,统一的基础数据标准主要有两个即数据元素标准和信息分类编码标准。信息和数据最终共享和使用需要借助信息资产共享平台或者交换平台。最后,数据的治理或管理不是一蹴而就的,是一个长期过程。需要做好数据库的规划或总体设计,数据架构和信息架构为数据治理提供顶层帮助。此外,蔡文海还就制造企业如何着手数据治理给出了几点建议:可以从企业战略结合数字化转型管理好数据生命周期,辅助决策和决策赋能去思考,可以从业务视角去考虑数据架构、数据标准、数据质量是否有问题,可以从产品切入点,考虑关注产品价值、如何持续运营、关注客户体验,还可以从数据资产如何给内部业务提供服务、如何赋能生态产业链进行探索。最后,通过一个实践案例展示了数据治理的全过程,让大家对数据治理有了更直观的认知,让我们以接近实战的角度,能够理解和领悟数据治理的作用,为企业未来数据治理的方向提供指导。


智能制造中的数据融合治理


图片

鲁四海分享内容


北大CIIM电子商务大数据开放实验室副主任、成都信息工程大学产业互联网研究院大数据分析实验室主任鲁四海主要从技术层面讲解了如何把工业制造中的OT及IT数据简单快速的融合到一个平台,一个数据库里面,数据融合之后采用什么样的方式及手段、规范去保证数据质量。鲁四海首先介绍了,设备数据采集的相关问题及技术。目前,设备数据的采集使用时序数据库,是封闭生态,虽然速度较快,但是和业务数据脱离,因此,设备数据的采集需要把它格式化,异构数据统一化,变成关系型数据才能去融合。鲁四海通过一个设备数据采集的简单架构,讲解了如何实现IT数据和OT数据的采集,比如,不同设备数据需要通过一些接口、标准或协议进行相应的格式化去转换。针对设备数据采集高并发、离散的数据接收问题,指出可以换个思路采用一些消息引擎主要消费把离散的高并发的事情变为简单的批量存储,同时可以保持实时性。其次针对企业中数据来源繁多冗杂,数据类型及表达方式多样的异构数据源同步问题,阐述了基于JDBC的异构数据库融合技术。使用Clickhouse加上JDBC这种方式消除不同数据源之间的差异,实现统一对接;还可以基于JDBC实现非数据库到数据库转化;通过OGG及Canal实现日志数据的实时同步以及filebeat和nginx等实现其他文件数据的实时接入和采集。最后,鲁四海从Clickhouse的特点展开讲解了Clickhouse融合数仓技术并分享了相关实践经验。Clickhouse具有速度快和分析简单的显著特点,目前被各大企业广泛采用。其内置函数可以直接使用,进行数据分析,还可以基于函数进行扩展,让数据处理非常简单;在集成方向,针对不同数据源通过JDBC的模式,可以实现对不同数据库的查询以及一些远程的基于API接口数据的查询;而且有多种访问方式比如MySQL客户端、ODBC、JDBC、Http等,易使用。分享中,鲁四海提到数仓建设中不建议对数据源进行物理删除,建议大家用计算字段去表述,逻辑删除,同时结合实践案例对数据仓库的标准规范进行了详细的讲解,并分享了一些快速数据质量检测的方式,比如关联度检测、非空率检测、值唯一率检测、值分布/值域检测、有效率检测、逻辑合规率等。最后,鲁四海把技术和实际应用相结合,展示了一些数据融合分析在智能制造企业中的实际应用场景,给我们很多想象空间。


传统3C制造业的数据建设探索与实践

 

图片

吴堃昊分享内容


来自头部制造型企业联宝科技的数据管理及大数据应用负责人吴堃昊从探索产品生产制造过程中数据建设的最佳实践的角度讲述了当前传统制造业面临的管理黑箱问题比如生产过程不透明、现场信息反馈不及时等从而引出了通过数据建设可以解决的业务问题,以及数据建设中会遇到的数据问题,比如数据孤岛,数据质量,数据权限与安全等。然后,针对这些现状基于传统制造业的流程复杂,系统繁多现状,分享了联宝科技的如何以共享数据中心即数据中台为核心进行数据建设的实践、数据建设的技术架构以及数据底座的建设。联宝数据分为四个层次的建设包括技术平台、数据底座、数据服务以及业务运营。技术平台主要包括离线开发、实时开发、算法计算;数据底座主要数据主题模型、数据湖等;数据服务主要包含指标服务、多维分析服务、标签服务、知识图谱、算法等;业务主营主要包含精细化场景,如成本核算、库存分析等以及创新应用场景,如智能排产、智能排岗等。技术架构主要包含采集层、传输层、存储层、分析层以及应用层,并对每一层的具体技术结合实际应用做了详细的讲解。数据底座建设主要包括经营分析的分析主题建设和基于业务行为的数据主题和贴源层。接下来按照属性、实体、业务对象、二级主题域、主题域的层级原则进行数据资产目录的建设。然后, 吴堃昊分享了数据建设的一些过程:数据入湖、数据模型分层、数据和应用等以及这些过程中的具体原则和技术模型等。最后,阐述了基于数据治理的DAMA框架和DCMM方法论的联宝数据治理的体系框架和数据治理的具体路径,为企业如何在实际中开展数据治理提供了有效参考。


在提问互动环节,线上嘉宾积极参与,提出了很多实际且深刻的问题,例如数据价值的衡量标准,企业中如何达到统一共识?


历史数据使用逻辑删除,带来的存储压力如何破解?末端数仓的数据标准如何指导源端系统物理数据库设计?


三位分享嘉宾就提问表达了自己的看法,蔡文海指出数据价值最好的是从业务出发,让各个业务领域的人员,真正感受到数据,他们不仅是数据的生产者要让他们感觉是数据的受益者,数据的价值更多的是应用。


鲁四海指出数据分两个层次去看,一个是影响到分析结果的数据比如IT系统里面的高价值的业务数据,要尽可能地都保留,目前分析性数据仓库的发展趋势是列式存储,本身带压缩,对于IT这部分的数据量来说不是问题;另一个是设备的数据,保存周期需要根据挖掘需要适当考虑,可以把前几年的数据做分析后保存结果留作参照。


吴堃昊建议做整体的规划在信息系统建设的时候就考虑数据种类以及数据和业务的关系,在构建业务系统的时候直接把数据治理和管理都考虑进去是最理想的一种方式。


更多互动内容及问题解答:

图片


本期会议内容丰富,2个小时的线上分享,从理论到实践再到实际工程应用,层层递进分享了专家眼中的工业制造领域相关的数据治理技术及其应用和具体实践,线上交流气氛热烈。TF第81期活动《工业制造中的数据治理》圆满结束,本期精彩报告和回顾视频可在CCF数字图书馆观看,欢迎持续关注TF更多精彩活动!


图片


下期预告:


CCF TF84


质量和效能的平衡一直是软件研发过程中永恒的话题,从短期看质量和效能似乎是矛盾的,但是从长期看质量和效能却能做到有机地统一,面对质量和效能的平衡,我们需要的不仅是战略层面的思考,还需要微观层面的工程实践,本次会议邀请到前京东测试资深专家陈磊、戴尔中国卓越研发集团资深DevOps架构师管俊、Thoughtworks软件测试和质量专家刘冉三位专家就这一主题展开系统思考和实践探讨。11月29日,欢迎报名!

图片

识别或扫码报名

报名链接:https://conf.ccf.org.cn/TF84

关于CCF TF

CCF TF技术前线(Tech Frontier)创立于2017年6月,旨在为工程师提供顶级交流平台,更好地服务企业界计算机专业人士,帮助企业界专业技术人士职业发展,通过搭建平台实现常态化合作和发展,促进企业间、学术界与企业间技术交流。目前已组建架构、安全、智能前端、知识图谱、数据科学、工程师文化、算法与AI、智能制造、智能设备与交互、产业智能化、研发效能等十一个SIG(Special Interest Group),提供丰富的技术前线内容分享。2022年4月至2023年3月,CCF TF将在线开展47场活动,会员免费参加。

加入CCF

加入CCF会员享受更多超值活动,为自己的技术成长做一次好投资。

点击链接了解更多会员权益:CCF个人会员权益  CCF公司会员权益 

图片

识别或扫码入会


欢迎关注CCFTF及CCF业务总部公众号,精彩陆续开启!


图片

关注CCFTF获取TF活动资讯

图片

关注CCF业务总部优惠预定会议场地


合作媒体


图片

CCF推荐

【精品文章】