数据治理是一门实践中的学问。本书轻理论、重实践,是一份实用的数据治理指南,涉及数据治理组织、管理制度、流程规范、数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全与隐私等主题。全书共分为3篇,第一篇包含第1章和第2章,介绍数据治理的理论与方法;第二篇包含第3章至第6章,介绍数据治理的平台建设与工具;第三篇包含第7章至第9章,介绍不同场景下的数据治理案例,通过案例场景细节解读和工作步骤阐述,帮助读者将数据治理理论转化为切实可行的解决方案和行动策略。本书适合数据管理专家、企业决策者、数据治理从业者,以及对数据治理感兴趣的人士阅读。
苏振中,资深企业数智化转型专家,具有20年以上的企业信息化从业经历,在To B领域的大型企业数字化转型、项目实施方面经验丰富,对大规模多云混合、物联网、大数据等复杂IT系统架构技术和数据治理有较为深入的理解,曾参与中国燃气新零售、雅迪、国药器械、豫园、中国龙工等多个知名企业的数字化转型项目。任职经历:埃林哲产品专家、行业总监、创新事业部部长、系统开发部部长,上海甘仁信息科技CTO,IBM高级系统架构师。刘永强,项目管理数智化咨询顾问,PMP认证、EXIN的Scrum认证、微软MCE认证,并取得了人力资源和社会保障部、工业和信息化部的系统集成项目管理工程师证书,曾为众多知名企业提供项目管理领域的培训咨询及数智化构建服务,包括佳贝艾特、康师傅、中国移动、杉杉能源、中航工业等上百家企业,致力于通过专业的项目管理咨询和数智化解决方案,助力企业构建核心竞争力。
第一篇 理论与方法
第1章 为什么数据治理如此重要 2
1.1 科技特征及演化趋势 3
1.1.1 组织进化与数智化转型 6
1.1.2 技术进化与剧烈“内卷” 10
1.1.3 数据消费场景的演进 11
1.2 数据资产的特征 15
1.2.1 通用资产的特征 15
1.2.2 数据的保鲜期 16
1.2.3 数据可能是负资产 17
1.2.4 数据资产的特殊性 17
1.3 数据之“痛”,“痛”在哪里 18
1.3.1 找不到关键数据 20
1.3.2 数据质量差 21
1.3.3 分析手段旧 23
1.3.4 分析效率低 24
1.3.5 数据杂乱 25
1.3.6 响应业务变化慢 26
1.3.7 非结构化数据的信息密度低 27
1.4 数据治理,治理什么 28
1.4.1 改善数据质量 29
1.4.2 优化数据时效 30
1.4.3 提升数据消费 30
1.4.4 贯彻数据标准 31
1.4.5 降低持有成本 31
1.4.6 完善治理组织 32
1.5 本章小结 32
第2章 敏捷数据治理方法论 33
2.1 什么是敏捷数据治理 34
2.1.1 统计报表的局限性 36
2.1.2 非数字原生企业的转型挑战 39
2.1.3 常见数据治理框架的局限性 40
2.1.4 数据标准化面临的困难 42
2.1.5 数据治理的常见误区 43
2.2 敏捷数据治理的总体框架、执行要点及主要特性 45
2.2.1 敏捷数据治理的总体框架 46
2.2.2 敏捷数据治理的执行要点 49
2.2.3 敏捷数据治理的主要特性 52
2.3 确定目标、厘清现状 53
2.3.1 调研及评估 54
2.3.2 如何获得高层管理者的支持 56
2.3.3 如何获得业务部门的支持 58
2.3.4 常见的数据治理切入点 60
2.4 数据治理平台规划 65
2.4.1 有效的数据治理计划 66
2.4.2 技术路径选择 70
2.4.3 组织保障体系 72
2.5 本章小结 75
第二篇 平台建设与工具
第3章 敏捷数据治理平台的技术规划 78
3.1 技术框架的总体思考 79
3.1.1 彼之蜜糖,汝之砒霜 80
3.1.2 数据的处理与存储方式 83
3.1.3 数据库、数据仓库与数据中台 86
3.1.4 数据特性的治理差异 88
3.1.5 云原生 89
3.1.6 微服务 90
3.1.7 应用性能监控 91
3.2 数据存储 92
3.2.1 规划要点 93
3.2.2 存储备份 94
3.2.3 实操经验 96
3.3 数据技术底座 98
3.3.1 公有云套件 99
3.3.2 私有化部署 101
3.4 数据ETL 103
3.4.1 多源异构 104
3.4.2 任务调度 105
3.4.3 数据清洗 106
3.5 产品选型建议 107
3.5.1 技术架构 108
3.5.2 成本预算 110
3.5.3 供应商综合实力 112
3.6 本章小结 114
第4章 敏捷数据治理平台的功能分析 115
4.1 智能数据应用 115
4.1.1 自助式BI分析 116
4.1.2 数据分析洞察 118
4.1.3 数据预警 120
4.2 数据指标体系 121
4.2.1 数据梳理:自上而下 122
4.2.2 数据梳理:自下而上 125
4.2.3 可视化指标管理 127
4.3 模型构建 129
4.3.1 指标模型 130
4.3.2 数据模型 136
4.3.3 算法模型 138
4.3.4 展示模型 140
4.4 主数据管理 143
4.4.1 主数据编码 144
4.4.2 主数据集成 148
4.4.3 主数据范围识别及难点分析 149
4.5 元数据管理 153
4.5.1 应用场景 156
4.5.2 难点及案例分析 156
4.6 数据标准管理 160
4.6.1 标准制定 162
4.6.2 标准落地 163
4.6.3 常见问题 170
4.6.4 难点分析 172
4.6.5 术语辨析 175
4.7 数据质量管理 177
4.7.1 质量指标 178
4.7.2 事前预防 180
4.7.3 事中控制 181
4.7.4 事后补救 181
4.7.5 难点分析 183
4.8 本章小结 184
第5章 数据治理项目的落地实施 185
5.1 项目实施过程管理 187
5.1.1 项目启动 188
5.1.2 例行会议 189
5.1.3 管理要点 190
5.2 长效运营与持续改善 192
5.2.1 组织挑战 193
5.2.2 文化挑战 194
5.3 项目实践中的难点 195
5.4 本章小结 199
第6章 数据治理工具箱 201
6.1 数据ETL工具 203
6.1.1 功能与特点 204
6.1.2 开源ETL产品 206
6.1.3 商业ETL产品 208
6.1.4 缺陷评述 209
6.1.5 选型建议 210
6.2 主数据管理工具 212
6.2.1 功能与特点 212
6.2.2 开源MDM产品 214
6.2.3 商业MDM产品 214
6.2.4 缺陷评述 215
6.2.5 选型建议 216
6.3 元数据管理工具 218
6.3.1 功能与特点 219
6.3.2 开源元数据管理产品 220
6.3.3 商业元数据管理产品 221
6.3.4 缺陷评述 222
6.3.5 选型建议 224
6.4 数据标准管理工具 224
6.4.1 功能与特点 225
6.4.2 产品介绍 226
6.5 数据质量管理工具 226
6.5.1 功能与特点 227
6.5.2 开源数据质量管理产品 229
6.5.3 商业数据质量管理产品 230
6.5.4 缺陷评述 231
6.5.5 选型建议 232
6.6 数据共享与开放工具 233
6.6.1 数据资产目录 233
6.6.2 BI报表 236
6.7 本章小结 241
第三篇 场景解读
第7章 应用场景 244
7.1 大型集团/企业 245
7.1.1 案例:A集团的协同管控之路 245
7.1.2 难点解析 247
7.1.3 应对策略 249
7.1.4 实现效果 250
7.2 零售与分销行业 252
7.2.1 案例:B零售公司数据治理助推数字化转型 252
7.2.2 难点解析 254
7.2.3 应对策略 256
7.2.4 实现效果 257
7.3 制造业 258
7.3.1 案例:C零部件制造企业数据驱动的业务优化 259
7.3.2 难点解析 260
7.3.3 应对策略 260
7.3.4 实现效果 261
7.4 电商行业 263
7.4.1 案例:D电商公司数据治理支持精准营销 263
7.4.2 难点解析 264
7.4.3 应对策略 265
7.4.4 实现效果 266
7.5 政府、金融和能源等领域 268
7.5.1 案例:数据开放与治理 268
7.5.2 难点解析 270
7.5.3 应对策略 271
7.5.4 实现效果 273
7.6 本章小结 275
第8章 技术场景 276
8.1 混合云架构下的数据治理 277
8.1.1 案例:E医疗集团的数据治理 277
8.1.2 难点解析 278
8.1.3 应对策略 279
8.1.4 实现效果 280
8.2 大数据架构下的数据治理 282
8.2.1 案例:F广告公司的大数据营销平台 282
8.2.2 难点解析 283
8.2.3 应对策略 284
8.2.4 实现效果 285
8.3 微服务架构下的数据治理 287
8.3.1 案例:G烘焙公司的数据一体化平台 287
8.3.2 难点解析 288
8.3.3 应对策略 290
8.3.4 实现效果 291
8.4 本章小结 293
第9章 业务场景 294
9.1 财务数据治理与应用 295
9.1.1 案例:H集团的业财一体化平台建设 295
9.1.2 难点解析 297
9.1.3 应对策略 298
9.1.4 实现效果 299
9.2 供应链数据治理与应用 300
9.2.1 案例:J零售连锁企业集成供应链协同优化 300
9.2.2 难点解析 302
9.2.3 应对策略 303
9.2.4 实现效果 305
9.3 营销数据治理与应用 306
9.3.1 案例:K电子商务公司的精准营销 307
9.3.2 难点解析 308
9.3.3 相关技术 309
9.3.4 应对策略 310
9.3.5 实现效果 311
9.4 生产数据治理与应用 312
9.4.1 案例:M机械制造企业的生产效率提升 313
9.4.2 难点解析 314
9.4.3 相关技术 315
9.4.4 应对策略 316
9.4.5 实现效果 318
9.5 本章小结 320
后记 总结与展望 321