《Python 网络爬虫从入门到进阶实战》从零基础入门学习者的角度出发，通过通俗易懂的语言、丰富多彩的实例，循序渐进地让读者在实践中学习Python网络爬虫知识，并提升自己的实际开发能力。
本书主要介绍了爬虫基础知识、常用网络请求模块的使用（urllib3 模块、Requests 模块、高级网络请求模块）、数据解析与存储（re 模块的正则表达式、XPath 的使用、Beautiful Soup 模块）、爬取动态渲染的数据、多线程爬虫、多进程爬虫、抓取App 数据、识别验证码、Scrapy 爬虫框架与Scrapy-Redis 分布式爬虫等内容。
本书知识讲解详细，侧重讲解知识使用场景，涉及的代码给出了详细的注释，可以使读者轻松领会Python 网络爬虫程序开发的精髓，快速提高开发技能。
本书适合作为Python 网络爬虫程序开发入门者的自学用书，也适合作为高等院校相关专业的教学参考书，亦可供开发人员查阅、参考。
第1篇 爬虫基础篇
第1章 认识爬虫 002
1.1 网络爬虫概述 002
1.2 网络爬虫的分类 002
1.3 网络爬虫的基本原理 003
1.4 爬虫环境搭建 004
本章知识思维导图 004
第2章 爬虫基础知识 005
2.1 HTTP 基本原理 005
2.1.1 HTTP 协议 005
2.1.2 HTTP 与Web 服务器 005
2.1.3 浏览器中的请求和响应 006
2.2 HTML 语言 008
2.2.1 什么是HTML 008
2.2.2 了解HTML 结构 008
2.2.3 HTML 的基本标签 009
2.3 CSS 层叠样式表 011
2.3.1 CSS 概述 011
2.3.2 属性选择器 012
2.3.3 类和id 选择器 013
2.4 JavaScript 动态脚本语言 013
本章知识思维导图 016
第2篇 网络模块篇
第3章 urllib3 模块 018
3.1 urllib3 简介 018
3.2 发送网络请求 019
3.2.1 GET 请求 019
3.2.2 POST 请求 020
3.2.3 重试请求 021
3.2.4 处理响应内容 022
3.3 复杂请求的发送 024
3.3.1 设置请求头 024
3.3.2 设置超时 025
3.3.3 设置代理IP 026
3.4 上传文件 027
本章知识思维导图 029
第4章 Requests 模块 030
4.1 请求方式 030
4.1.1 GET（不带参）请求 031
4.1.2 对响应结果进行utf-8 编码 031
4.1.3 爬取二进制数据 032
4.1.4 GET（带参）请求 033
4.1.5 POST 请求 034
4.2 复杂的网络请求 035
4.2.1 添加请求头headers 036
4.2.2 验证Cookies 036
4.2.3 会话请求 038
4.2.4 验证请求 039
4.2.5 网络超时与异常 040
4.2.6 上传文件 041
4.3 代理服务 043
4.3.1 代理的应用 043
4.3.2 获取免费的代理IP 044
4.3.3 检测代理IP 是否有效 045
本章知识思维导图 047
第5章 高级网络请求模块 048
5.1 Requests-Cache 的安装与测试 048
5.2 缓存的应用 049
5.3 强大的Requests-HTML 模块 052
5.3.1 使用Requests-HTML 实现网络请求 052
5.3.2 数据的提取 054
5.3.3 获取动态加载的数据 058
本章知识思维导图 062
第3篇 数据解析与存储篇
第6章 re 模块的正则表达式 064
6.1 使用search() 方法匹配字符串 064
6.1.1 获取第一个指定字符开头的字符串 064
6.1.2 可选匹配 065
6.1.3 匹配字符串边界 066
6.2 使用findall() 方法匹配字符串 067
6.2.1 匹配所有指定字符开头的字符串 067
6.2.2 贪婪匹配 068
6.2.3 非贪婪匹配 068
6.3 字符串处理 070
6.3.1 替换字符串 070
6.3.2 分割字符串 071
6.4 案例：爬取编程e 学网视频 072
6.4.1 查找视频页面 072
6.4.2 分析视频地址 074
6.4.3 实现视频下载 075
本章知识思维导图 077
第7章 XPath 的使用 078
7.1 XPath 概述 078
7.2 XPath 的解析操作 079
7.2.1 解析HTML 079
7.2.2 获取所有节点 081
7.2.3 获取子节点 083
7.2.4 获取父节点 085
7.2.5 获取文本 086
7.2.6 属性匹配 087
7.2.7 获取属性 089
7.2.8 按序获取属性值 090
7.2.9 使用节点轴获取节点内容 091
7.3 案例：爬取豆瓣电影Top250 093
7.3.1 分析请求地址 093
7.3.2 分析信息位置 094
7.3.3 爬虫代码的实现 095
本章知识思维导图 097
第8章 Beautiful Soup 模块 098
8.1 使用Beautiful Soup 解析数据 098
8.1.1 Beautiful Soup 的安装 098
8.1.2 解析器 099
8.1.3 Beautiful Soup 的简单应用 100
8.2 获取节点内容 101
8.2.1 获取节点对应的代码 101
8.2.2 获取节点属性 103
8.2.3 获取节点包含的文本内容 104
8.2.4 嵌套获取节点内容 105
8.2.5 关联获取 106
8.3 调用方法获取内容 111
8.3.1 find_all()——获取所有符合条件的内容 111
8.3.2 find()——获取第一个匹配的节点内容 115
8.3.3 其他方法 116
8.4 CSS 选择器 117
本章知识思维导图 120
第9章 数据处理与文件存取 121
9.1 了解pandas 数据结构 121
9.1.1 Series 对象 121
9.1.2 DataFrame 对象 124
9.2 数据处理 126
9.2.1 增添数据 126
9.2.2 删除数据 126
9.2.3 修改数据 127
9.2.4 查询数据 128
9.3 NaN 数据处理 130
9.4 去除重复数据 133
9.5 文件的存取 135
9.5.1 基本文件操作TXT 135
9.5.2 存取CSV 文件 140
9.5.3 存取Excel 文件 143
9.6 MySQL 数据库的使用 144
9.6.1 连接数据库 144
9.6.2 创建数据表 145
9.6.3 操作MySQL 数据表 146
本章知识思维导图 148
第4篇 技能进阶篇
第10章 爬取动态渲染的数据 150
10.1 Ajax 数据的爬取 150
10.2 使用selenium 爬取动态加载的信息 154
10.2.1 安装selenium 模块 154
10.2.2 下载浏览器驱动 154
10.2.3 selenium 模块的使用 155
10.3 Splash 的爬虫应用 157
10.3.1 Splash 中的HTTP API 158
10.3.2 执行lua 自定义脚本 161
本章知识思维导图 163
第11章 多线程爬虫 164
11.1 进程与线程 164
11.1.1 什么是进程 164
11.1.2 什么是线程 165
11.2 创建线程 165
11.2.1 使用threading 模块创建线程 165
11.2.2 使用Thread 子类创建线程 166
11.3 线程间通信 167
11.3.1 什么是互斥锁 168
11.3.2 使用互斥锁 169
11.3.3 使用队列在线程间通信 170
11.4 多线程爬虫 172
本章知识思维导图 178
第12章 多进程爬虫 179
12.1 创建进程 179
12.1.1 使用multiprocessing 模块创建进程 179
12.1.2 使用Process 子类创建进程 183
12.1.3 使用进程池Pool 创建进程 184
12.2 进程间通信 187
12.2.1 队列简介 188
12.2.2 多进程队列的使用 189
12.2.3 使用队列在进程间通信 191
12.3 多进程爬虫 192
本章知识思维导图 197
第13章 爬取App 数据 198
13.1 Charles 工具的下载与安装 198
13.2 SSL 证书的安装 202
13.2.1 安装PC 端证书 202
13.2.2 设置代理 206
13.2.3 配置网络 207
13.2.4 安装手机端证书 210
13.3 案例：爬取App 数据 213
本章知识思维导图 215
第14章 识别验证码 216
14.1 字符验证码 216
14.1.1 搭建OCR 环境 216
14.1.2 下载验证码图片 218
14.1.3 识别验证码 219
14.2 第三方验证码识别 221
14.3 滑动拼图验证码 225
本章知识思维导图 228
第5篇 框架篇
第15章 Scrapy 爬虫框架 230
15.1 了解Scrapy 爬虫框架 230
15.2 搭建Scrapy 爬虫框架 231
15.2.1 使用Anaconda 安装Scrapy 231
15.2.2 Windows 系统下配置Scrapy 233
15.3 Scrapy 的基本应用 235
15.3.1 创建Scrapy 项目 235
15.3.2 创建爬虫 236
15.3.3 获取数据 240
15.3.4 将爬取的数据保存为多种格式的文件 243
15.4 编写Item Pipeline 244
15.4.1 项目管道的核心方法 244
15.4.2 将信息存储到数据库中 245
15.5 自定义中间件 248
15.5.1 设置随机请求头 249
15.5.2 设置Cookies 252
15.5.3 设置代理ip 255
15.6 文件下载 257
本章知识思维导图 260
第16章 Scrapy-Redis 分布式爬虫 261
16.1 安装Redis 数据库 261
16.2 Scrapy-Redis 模块 264
16.3 分布式爬取新闻数据 265
16.4 自定义分布式爬虫 277
本章知识思维导图 285
书单推荐
