第 21 章：数据工程¶
来源：课程视频目录与《21.数据工程》思维导图 PDF。用于在 Obsidian 的 Markmap 插件中渲染。
| 项目 | 数值 |
|---|---|
| 视频小节 | 5 |
| 总时长 | 01:22:37 |
---
markmap:
height: 760
initialExpandLevel: 2
maxWidth: 320
spacingHorizontal: 90
spacingVertical: 12
nodeMinHeight: 24
paddingX: 10
---
# 21. 数据工程（5节 / 01:22:37）
## 21.1 数据采集和预处理（11:21）
### 数据采集
- 数据源：内部/外部，结构化/半结构化/非结构化
- 方法：系统日志、网络爬虫、传感器、接口调用、人工录入
- 原则：完整性、准确性、及时性、一致性、安全性
### 数据预处理
- 数据清洗：缺失值、异常值、重复值、错误值处理
- 数据集成：多源数据合并与冲突消解
- 数据变换：规范化、离散化、聚合、属性构造
- 数据归约：维度归约、数量归约、抽样
## 21.2 数据存储及管理（26:44）
### 数据库基础
- 关系数据库：表、行、列、主键、外键
- NoSQL：键值、文档、列族、图数据库
- 分布式数据库：分片、副本、一致性、容错
### 数据管理
- 元数据：描述数据的数据，分业务、技术、操作元数据
- 主数据：组织内跨系统共享的核心业务实体数据
- 数据生命周期：创建、存储、使用、共享、归档、销毁
- 数据质量维度：完整、准确、一致、及时、唯一、有效
## 21.3 数据治理与建模（18:05）
### 数据治理
- 目标：明确权责、统一标准、提升质量、保障安全、释放价值
- 内容：组织、制度、标准、质量、元数据、主数据、安全与生命周期
### 数据建模
- 概念模型：面向业务，确定实体、属性和关联
- 逻辑模型：将概念模型转换为关系模式
- 物理模型：确定表、字段、视图、索引、存储过程、触发器
- 过程：需求分析 → 概念设计 → 逻辑设计 → 物理设计
## 21.4 数据分析及应用（15:30）
### 数据仓库与资产
- 主题库结构：数据源层、构件层、主题库层
- 数据资产管理：资源化 → 资产化 → 流通 → 运营
- 数据价值评估：数据资产化的价值基线
- 数据资源编目：概念模型明确构成要素，业务模型规范业务框架
### 数据集成
- 方法：模式集成、复制集成、混合集成
- 接口：ODBC、JDBC、OLE DB、ADO
- Web Services：SOAP、WSDL、UDDI
- 数据网格透明性：分布、异构、位置、访问方式透明
### 数据挖掘
- 任务：数据总结、关联、分类预测、聚类、孤立点分析
- 流程：确定对象 → 数据准备 → 数据挖掘 → 结果评估 → 结果应用
- 数据服务：目录、查询浏览下载、分发
- 可视化：一维、二维、三维、多维、时态、层次、网络数据
## 21.5 数据脱敏和分类分级（10:57）
### 数据脱敏
- 敏感数据：个人、商业、国家秘密数据
- 示例等级：L1 公开、L2 保密、L3 机密、L4 绝密、L5 私密
- 方式：可恢复脱敏、不可恢复脱敏
- 原则：算法不可逆、保持特征、保留引用完整性、规避融合风险、自动化、可重复
### 分类分级
- 分类：依据内容属性或特征建立分类体系和排列顺序
- 两要素：分类对象、分类依据
- 分级：按重要程度和泄露、篡改、损毁后的影响确定保护等级