本书以Python数据分析的常用技术与交通行业真实案例相结合的方式，深入浅出地介绍了Python数据分析与挖掘技术的重要内容。全书共10章，内容包括绪论、Python 数据分析简介、数据获取、数据探索、数据预处理、构建模型、运输车辆驾驶行为分析、公交车站点设置优化分析、铁路站点客流量预测，以及基于TipDM大数据挖掘建模平台实现运输车辆驾驶行为分析。本书大部分章节包含课后习题，通过练习和操作实践，读者可以巩固所学的内容。
本书可作为高校数据分析相关专业的教材，也可作为交通行业相关的教学、培训教材，还可作为数据分析爱好者的自学用书。
1.紧扣交通大数据分析全流程。本书的设计思路以数据分析的流程为导向，结合交通数据讲解流程中的每个环节，并通过课后习题巩固所学知识。
2.注重项目实战应用。本书通过讲解实际交通行业的相关项目，让读者明确如何利用所学知识来解决生产、生活中的问题，真正理解并能够应用所学知识。
3.注重启发式教学。全书大部分章节紧扣具体应用展开，不堆积知识点，着重于思路的启发与解决方案的实施。
张良均，高级信息系统项目管理师，泰迪杯全国大学生数据挖掘竞（www.tipdm.org）的发起人。华南师范大学、广东工业大学兼职教授，广东省工业与应用数学学会理事。兼有大型高科技企业和高校的工作经历，主要从事大数据挖掘及其应用的策划、研发及咨询培训。全国计算机技术与软件专业技术资格（水平）考试继续教育和CDA数据分析师培训讲师。发表数据挖掘相关论文数二十余篇，已取得国家发明专利12项，主编图书《神经网络实用教程》、《数据挖掘:实用案例分析》、《MATLAB数据分析与挖掘实战》等9本热销图书，主持并完成科技项目9项。获得SAS、SPSS数据挖掘认证及Hadoop开发工程师证书，具有电力、电信、银行、制造企业、电子商务和电子政务的项目经验和行业背景。
第 1章 绪论 1
1.1 了解交通大数据 1
1.1.1 交通大数据的背景 1
1.1.2 交通大数据的应用 4
1.2 认识数据分析 5
1.2.1 掌握数据分析的基本任务 6
1.2.2 熟悉数据分析的基本流程 6
1.3 了解常用的数据分析工具 8
1.4 配置Python开发环境 9
1.4.1 安装Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小结 14
课后习题 14
第 2章 Python数据分析简介 16
2.1 入门Python数据分析 16
2.1.1 了解基本命令 16
2.1.2 掌握数据结构 19
2.1.3 函数式编程 21
2.1.4 导入与添加库 23
2.2 了解Python数据分析常用扩展库 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小结 31
课后习题 31
第3章 数据获取 32
3.1 了解常见的数据来源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分类与特点 33
3.2.2 常见的交通信息采集技术 34
3.3 了解常见的数据类型 35
3.4 掌握数据的读取方式 37
3.4.1 读取数据库数据 37
3.4.2 读取文件数据 38
小结 40
课后习题 40
第4章 数据探索 41
4.1 分析数据质量 41
4.1.1 分析缺失值 41
4.1.2 分析异常值 42
4.2 分析数据特征 45
4.2.1 分析数据的统计量 45
4.2.2 分析数据的分布情况 48
4.2.3 对比分析数据 53
4.2.4 分析数据的周期性 56
4.2.5 分析数据的相关性 58
小结 61
课后习题 61
第5章 数据预处理 63
5.1 数据清洗 63
5.1.1 处理缺失值 63
5.1.2 处理异常值 66
5.2 数据变换 66
5.2.1 函数变换 66
5.2.2 数据标准化 67
5.2.3 离散化连续型数据 69
5.3 属性构造 72
5.4 属性规约 73
5.5 数据合并 76
5.5.1 多表合并 77
5.5.2 分组聚合数据 84
小结 92
课后习题 92
第6章 构建模型 94
6.1 构建分类与回归模型 94
6.1.1 常用的分类与回归算法 94
6.1.2 了解回归分析 95
6.1.3 了解朴素贝叶斯 99
6.1.4 了解决策树 101
6.1.5 了解人工神经网络 104
6.1.6 评价分类与回归模型 109
6.2 构建聚类模型 113
6.2.1 了解常用的聚类算法 113
6.2.2 了解K-Means聚类 114
6.2.3 了解密度聚类 120
6.2.4 聚类模型评价 124
6.3 构建时间序列模型 126
6.3.1 了解常用的时间序列模型 126
6.3.2 预处理时间序列 127
6.3.3 分析平稳时间序列 128
6.3.4 分析非平稳时间序列 131
小结 140
课后习题 140
第7章 运输车辆驾驶行为分析 142
7.1 分析背景与目标 142
7.1.1 背景 142
7.1.2 数据说明 143
7.1.3 分析目标 144
7.2 数据探索分析 145
7.2.1 分布分析 145
7.2.2 相关性分析 146
7.2.3 异常值检测 147
7.3 驾驶行为聚类分析 149
7.3.1 K-Means聚类 149
7.3.2 层次聚类 152
7.3.3 高斯混合模型聚类 153
7.3.4 谱聚类 154
7.4 构建驾驶行为预测模型 156
7.4.1 构建线性判别分析模型 156
7.4.2 构建朴素贝叶斯模型 157
7.4.3 构建神经网络模型 159
7.5 驾驶行为分析总结与建议 160
小结 160
课后习题 160
第8章 公交车站点设置优化分析 162
8.1 分析背景与目标 162
8.1.1 背景 163
8.1.2 数据说明 163
8.1.3 分析目标 164
8.2 探索公交刷卡数据 165
8.3 预处理公交车载GPS数据与刷卡数据 166
8.3.1 属性规约 166
8.3.2 缺失值处理 166
8.3.3 数据去重 167
8.4 构建DBSCAN模型 168
8.5 公交车站点设置优化分析 170
8.5.1 计算上车人数 170
8.5.2 计算下车人数 172
8.5.3 结果分析 176
小结 177
课后习题 177
第9章 铁路站点客流量预测 179
9.1 分析背景与目标 179
9.1.1 背景 179
9.1.2 数据说明 180
9.1.3 分析目标 180
9.2 预处理客流量数据 181
9.3 探索客流量数据 186
9.3.1 不同站点上下车客流量分布分析 186
9.3.2 不同时段上下车客流量分布分析 187
9.3.3 分析节假日客流量变化 189
9.4 构建模型并预测客流量 192
9.4.1 构建时间序列模型 192
9.4.2 预测非节假日客流量 195
9.4.3 预测节假日客流量 199
小结 206
课后习题 207
第 10章 基于TipDM大数据挖掘建模平台实现运输车辆驾驶行为分析 208
10.1 TipDM大数据挖掘建模平台简介 208
10.1.1 模型库 210
10.1.2 数据连接 210
10.1.3 我的数据 210
10.1.4 我的工程 211
10.1.5 系统算法 211
10.1.6 个人算法 213
10.2 实现运输车辆驾驶行为分析 214
10.2.1 数据源配置 214
10.2.2 数据探索分析 217
10.2.3 驾驶行为聚类分析 222
10.2.4 构建驾驶行为预测模型 230
小结 236
第 1章 绪论 1
1.1 了解交通大数据 1
1.1.1 交通大数据的背景 1
1.1.2 交通大数据的应用 4
1.2 认识数据分析 5
1.2.1 掌握数据分析的基本任务 6
1.2.2 熟悉数据分析的基本流程 6
1.3 了解常用的数据分析工具 8
1.4 配置Python开发环境 9
1.4.1 安装Anaconda 9
1.4.2 掌握Jupyter Notebook的使用方法 12
小结 14
课后习题 14
第 2章 Python数据分析简介 16
2.1 入门Python数据分析 16
2.1.1 了解基本命令 16
2.1.2 掌握数据结构 19
2.1.3 函数式编程 21
2.1.4 导入与添加库 23
2.2 了解Python数据分析常用扩展库 24
2.2.1 NumPy 25
2.2.2 SciPy 26
2.2.3 pandas 27
2.2.4 Matplotlib 28
2.2.5 scikit-learn 30
小结 31
课后习题 31
第3章 数据获取 32
3.1 了解常见的数据来源 32
3.2 了解交通信息的采集 33
3.2.1 交通信息的分类与特点 33
3.2.2 常见的交通信息采集技术 34
3.3 了解常见的数据类型 35
3.4 掌握数据的读取方式 37
3.4.1 读取数据库数据 37
3.4.2 读取文件数据 38
小结 40
课后习题 40
第4章 数据探索 41
4.1 分析数据质量 41
4.1.1 分析缺失值 41
4.1.2 分析异常值 42
4.2 分析数据特征 45
4.2.1 分析数据的统计量 45
4.2.2 分析数据的分布情况 48
4.2.3 对比分析数据 53
4.2.4 分析数据的周期性 56
4.2.5 分析数据的相关性 57
小结 60
课后习题 61
第5章 数据预处理 63
5.1 数据清洗 63
5.1.1 处理缺失值 63
5.1.2 处理异常值 66
5.2 数据变换 66
5.2.1 函数变换 66
5.2.2 数据标准化 67
5.2.3 离散化连续型数据 69
5.3 属性构造 72
5.4 属性规约 73
5.5 数据合并 76
5.5.1 多表合并 77
5.5.2 分组聚合数据 84
小结 92
课后习题 92
第6章 构建模型 94
6.1 构建分类与回归模型 94
6.1.1 常用的分类与回归算法 94
6.1.2 了解回归分析 95
6.1.3 了解朴素贝叶斯 99
6.1.4 了解决策树 101
6.1.5 了解人工神经网络 104
6.1.6 评价分类与回归模型 109
6.2 构建聚类模型 113
6.2.1 了解常用的聚类算法 113
6.2.2 了解K-Means聚类 114
6.2.3 了解密度聚类 120
6.2.4 聚类模型评价 124
6.3 构建时间序列模型 126
6.3.1 了解常用的时间序列模型 126
6.3.2 预处理时间序列 127
6.3.3 分析平稳时间序列 128
6.3.4 分析非平稳时间序列 131
小结 140
课后习题 140
第7章 运输车辆驾驶行为分析 142
7.1 分析背景与目标 142
7.1.1 背景 142
7.1.2 数据说明 143
7.1.3 分析目标 144
7.2 数据探索分析 145
7.2.1 分布分析 145
7.2.2 相关性分析 146
7.2.3 异常值检测 147
7.3 驾驶行为聚类分析 149
7.3.1 K-Means聚类 149
7.3.2 层次聚类 152
7.3.3 高斯混合模型聚类 153
7.3.4 谱聚类 154
7.4 构建驾驶行为预测模型 156
7.4.1 构建线性判别分析模型 156
7.4.2 构建朴素贝叶斯模型 157
7.4.3 构建神经网络模型 159
7.5 驾驶行为分析总结与建议 160
小结 160
课后习题 160
第8章 公交车站点设置优化分析 162
8.1 分析背景与目标 162
8.1.1 背景 163
8.1.2 数据说明 163
8.1.3 分析目标 164
8.2 探索公交刷卡数据 165
8.3 预处理公交车载GPS数据与刷卡数据 166
8.3.1 属性规约 166
8.3.2 缺失值处理 166
8.3.3 数据去重 167
8.4 构建DBSCAN模型 168
8.5 公交车站点设置优化分析 170
8.5.1 计算上车人数 170
8.5.2 计算下车人数 172
8.5.3 结果分析 176
小结 177
课后习题 177
第9章 铁路站点客流量预测 179
9.1 分析背景与目标 179
9.1.1 背景 179
9.1.2 数据说明 180
9.1.3 分析目标 180
9.2 预处理客流量数据 181
9.3 探索客流量数据 186
9.3.1 不同站点上下车客流量分布分析 186
9.3.2 不同时段上下车客流量分布分析 187
9.3.3 分析节假日客流量变化 189
9.4 构建模型并预测客流量 192
9.4.1 构建时间序列模型 192
9.4.2 预测非节假日客流量 195
9.4.3 预测节假日客流量 199
小结 206
课后习题 207
第 10章 基于TipDM大数据挖掘建模平台实现运输车辆驾驶行为分析 208
10.1 Tip DM大数据挖掘建模平台简介 208
10.1.1 模型库 210
10.1.2 数据连接 210
10.1.3 我的数据 210
10.1.4 我的工程 211
10.1.5 系统算法 211
10.1.6 个人算法 213
10.2 实现运输车辆驾驶行为分析 214
10.2.1 数据源配置 214
10.2.2 数据探索分析 217
10.2.3 驾驶行为聚类分析 222
10.2.4 构建驾驶行为预测模型 230
小结 236
书单推荐
