11月1日，TF32期研讨会《端到端数据分析系统构建》在线上成功举办。本次会议从数据中台、数据资产、数据基础设施等多个角度，分享及探讨端到端的大数据分析系统构建的设计与实践。

数字化成为中国经济的主要驱动力，2020年数字化变革受到突如其来的疫情影响变得更加快速与剧烈。政府、企业都认识到数字化及智能化的迫切性。端到端的构建大数据系统，是高效采集及处理数据、融合及理解数据，洞察及应用数据，让数据发挥巨大潜能及价值，赋能及驱动经济发展，提高政府与企业治理效能的关键。

数据中台及数据治理是当前企业制定数据战略的两大主线，在CCF TF32期中，来自小米、奇点云、网易、金山云及英诺森的多位嘉宾。从端到端的数据平台能力、数据中台演进路线、数据资产盘活治理、数据基础设施升级变革等多个角度，分享及探讨端到端的大数据系统构建的设计与实践。本次研讨会由CCF TF32期共同主席潘英超先生进行主持。

主题分享开始前，本期研讨会的发起人，CCF TF32期会议主席、CCF TF大数据SIG主席徐国市博士进行了简短的开场致辞：“各位线上的朋友，大家下午好。我是CCF TF大数据SIG主席徐国市，来自小米公司。数字时代，数据如同工业时代的石油，数据的使用无处不在。随着今年新冠疫情的肆虐，各个行业的数字化及智能化转型升级全面加速。例如，今天我们就是以线上的形式举办这次会议。在这样的背景下，如何低成本、高效率的构建端到端的大数据系统，方便、快捷的处理数据，提供数据服务，发挥数据价值，助力业务发展，实现数据驱动，就成为值得关注和探讨的话题。希望通过今天的分享讨论，大家能够有所收获。”

作为第一位分享嘉宾，路绪清老师首先回顾了数字化浪潮演进的关键节点与重大事件，介绍了数据中台概念产生的背景。并以持续建设中的小米数据中台为依托，从整体技术架构、数据基础设施、数据采集工具、数据仓库建模、数据平台能力、数据安全与隐私合规、数据应用等角度详细介绍了小米在各模块上的实践与成果。分享了数据中台建设的一般性思路以及未来数字化变革中数据体系建设的推演和展望，特别是数据中台与企业经营、数据中台与云及AI的关系。

在消费市场高度饱和的情况下，如何沉淀与盘活更多的消费者资产、围绕数据中台这一核心驱动力赋能消费者运营，实现价值最大化。何夕老师在分享之初就介绍了全域数据中台走红的时代背景，并指出数字化转型本质是信息技术重塑商业逻辑的过程。之后以求势、明道与寻术的逻辑框架进行了逐一讲解。技术的发展驱动了人货场的大变局，线上与线下高度融合，消费者的行为却随着数字世界与物理世界的融合变得更加碎片化，数据中台是洞察消费者从而进行大规模精细化匹配的核心。奇点云鉴于深厚的阿里系背景，阐述了其对“全域”提升，即从局部数据走向全局数据的见解与实践，并以消费者增长模型为例，对构建消费者的指标分析体系、匹配及优化执行动作进行了详细的解读。

网易易数是网易杭研打造的全新数据生产力平台，其中包含了数据中台与数据产品。目前网易易数不仅支撑了集团内部音乐，传媒，教育等业务的数据建设，同时也赋能了金融，教育，农业，零售等领域的外部客户。作为数据入口，网易日志采集平台经历了3代的发展，而志辉老师主导重构的最新一代Datastream-ng在资源占用、采集规则、传输流转及全链路监控等方面均进行了升级，截止2020年10月，采集任务数量已达万级，实时运行任务数量多达几千个，日均采集日志数据几千亿条。而作为数据中台出口的数据服务平台，提供了快速将数据表生成API并进行统一管理与发布的能力，通过授权供外部应用系统调用从而高效获取数据。

“云”正在成为这个时代的载体，也是数字化发展的一个标志。大数据也需要全面拥抱云计算，并成为云计算技术持续发展的推动力之一。雪峰老师首先介绍了数据分析系统建设的概览、目标、步骤及难点，随即给出了金山云的大数据云解决方案，其不仅可以对不同种类的数据进行统一的采集、集成与管理，还可以实现流批一体的智能调度，可视化编程及数据挖掘与分析的一站式协同开发，并通过计算与存储分离、租户独享与共享、弹性扩展等特性降低企业的IT基础设施成本并确保安全与合规。

在数字化转型的浪潮中，数据已经被正式纳入到核心生产要素范围。随着大数据技术的发展，数据对业务发挥的驱动引领作用愈发明显。数据资产管理不仅是驱动业务发展的核心任务之一，同时也成为企业建立大数据平台和端到端数据系统的重要基础支撑和保障。国辉老师从基本理念、总体框架、数据标准、管控职能及实施路线的5大维度对数据资产管理进行了全面阐述。将英诺森公司对于企业数字化转型、新基建战略部署及安全与自主可控下企业数据体系建设的理解与实践和与会者进行了充分的沟通。

端到端的大数据系统，不仅是政府及企业在经济发展中的新基建，也是数据体系建设及数字化与智能化转型的重要保障与支撑。