第1章 【第一阶段】爬虫概念学习和开发须知 试看 5 节 | 24分钟

了解爬虫，学习爬虫开发的相关概念，熟悉爬虫的一些长处和需要注意的事项

收起列表

• 视频： 1-1 一课带你系统入门Python爬虫 (04:04) 试看
• 视频： 1-2 第一阶段学习安排 (02:26)
• 视频： 1-3 爬虫是什么？能解决什么问题？ (04:01)
• 视频： 1-4 为什么要学Python爬虫开发？ (05:16)
• 视频： 1-5 爬虫开发注意事项 (08:00)

第2章 爬虫本质是网络请求 8 节 | 26分钟

网络爬虫最基础概念就是网络请求，网页爬虫就是网页请求，学习网络概念和模型，加强对爬虫的理解，可以更快的掌握爬虫技术

收起列表

• 视频： 2-1 爬虫和爬虫工程师 (04:33)
• 视频： 2-2 爬虫的本质 (04:29)
• 视频： 2-3 网络协议-OSI模型介绍 (04:01)
• 视频： 2-4 网络协议- TCPIP协议介绍 (03:48)
• 视频： 2-5 完整的网络请求过程 (05:42)
• 视频： 2-6 HTTP协议概述 (03:16)
• 图文： 2-7 HTTP协议发展历程介绍
• 图文： 2-8 OSI模型知识点介绍

第3章 课程相关库介绍 4 节 | 20分钟

了解本课程使用到的库和环境说明，以及需要用到的数据库，和操作系统的相关介绍

收起列表

• 视频： 3-1 Python的版本说明 (04:46)
• 视频： 3-2 Python的爬虫库介绍 (03:37)
• 视频： 3-3 数据库介绍 (05:24)
• 视频： 3-4 操作系统的介绍和说明 (05:44)

第4章 从实践入手学习Python爬虫 7 节 | 69分钟

上手最简单的一个脚本爬虫，可以最直观的了解爬虫，并且直接获得目标数据，成就感满满

收起列表

• 视频： 4-1 目标站点分析 (09:23)
• 视频： 4-2 编写脚本爬虫实现需求 (03:40)
• 视频： 4-3 上手编写简单的http请求 (14:23)
• 视频： 4-4 关于响应的数据格式说明和解析方式 (10:35)
• 视频： 4-5 将爬虫数据存储到本地文件 (16:50)
• 视频： 4-6 解析网络请求的详细数据 (07:07)
• 视频： 4-7 解析网络响应的详细信息 (06:24)

第5章 详细学习requests库和请求构造 试看 6 节 | 51分钟

在python生态中，请求库requests是一个知名的网络请求框架，可以清楚的看到爬虫请求的结构，使用requests有利于学习爬虫底层技术

收起列表

• 视频： 5-1 requests库和请求数据的重要性 (04:03) 试看
• 视频： 5-2 两个必会的请求方法get和post (11:07)
• 视频： 5-3 显性参数和隐性参数 (08:59)
• 视频： 5-4 post提交主体数据 (07:28)
• 视频： 5-5 ssl证书的验证问题 (07:20)
• 视频： 5-6 html&txt&json三种数据类型说明 (11:46)

第6章 【第二阶段】使用Selenium库进行网页交互 13 节 | 117分钟

Selenium库是Python知名的自动化测试框架，Selenium可以在浏览器的交互过程中，轻松的化解一些较难的交互动作

收起列表

• 视频： 6-1 PythonSelenium安装介绍 (03:41)
• 视频： 6-2 浏览器驱动的下载和配置 (10:34)
• 视频： 6-3 网页元素的5种定位方式（上） (17:46)
• 视频： 6-4 网页元素的5种定位方式（下） (10:16)
• 视频： 6-5 Selenium点击网页元素 (12:29)
• 视频： 6-6 Selenium获取网页数据 (19:36)
• 视频： 6-7 Selenium的无窗口模式 (07:21)
• 视频： 6-8 Selenium浏览器的懒加载模式 (07:21)
• 视频： 6-9 Selenium执行js代码 (08:48)
• 视频： 6-10 Selenium新建浏览器标签页 (10:17)
• 视频： 6-11 标签页的切换和关闭 (08:41)
• 图文： 6-12 Chrome版本及对应驱动下载地址
• 图文： 6-13 Windows系统环境变量介绍

第7章 Selenium实战——B站网站的自动化操作 4 节 | 74分钟

使用Selenium自动化测试框架，对B站网页进行自动化交互处理，进行增量数据存储和爬取，让学以致用。

收起列表

• 视频： 7-1 bilibili站点分析 (04:06)
• 视频： 7-2 Selenium自动化爬取bilibili网站 (19:23)
• 视频： 7-3 增量视频数据的格式和存储 (24:35)
• 视频： 7-4 Selenium增量爬取bilibili网站 (25:55)

第8章 深入掌握浏览器渲染网页的完整流程 试看 9 节 | 95分钟

想要获取网页内容，熟悉网页也是必须掌握的基础内容。网页是多层元素堆叠的可视化平面，了解网页的结构和加载顺序，用助于提高爬虫的效率

收起列表

• 视频： 8-1 浏览器爬虫和纯脚本爬虫的区别 (04:33) 试看
• 视频： 8-2 网页的形成顺序 (05:27)
• 视频： 8-3 什么是异步数据 (05:22)
• 视频： 8-4 通过浏览器分析网络请求 (13:15)
• 视频： 8-5 源码分析异步数据的来源 (11:44)
• 视频： 8-6 学习调试工具的使用和查找 (14:39)
• 视频： 8-7 获取异步渲染数据 (21:36)
• 视频： 8-8 获取异步请求数据 (10:55)
• 视频： 8-9 异步数据的格式和解析方法说明 (07:02)

第9章 解析网页数据之xpath语法 9 节 | 83分钟

网页是html标记语言，是一种规则的嵌套结构。解析规则的语法结构，例如html、xml，适合使用xpath语法规则，xpath语法概念易懂，易于使用且执行效率很高。

收起列表

• 视频： 9-1 如何提取网页内容 (02:57)
• 视频： 9-2 xpath和re的各自优势 (03:31)
• 视频： 9-3 xpath插件安装 (03:29)
• 视频： 9-4 理解xpath节点概念.mp4 (09:30)
• 视频： 9-5 xpath标签检索.mp4 (07:41)
• 视频： 9-6 xpath属性检索方式 (12:13)
• 视频： 9-7 xpath中contains函数的应用.mp4 (10:18)
• 视频： 9-8 理解和使用与或非关系 (09:26)
• 视频： 9-9 xpath解析bilibili网站 (23:48)

第10章 解析网页数据之正则表达式 6 节 | 51分钟

网页语法HTML是规则的，但是也经常会碰到一些不规则的语法需要解析，例如数据存在于css和js中。对于非规则的内容结构，正则表达式就非常适合于这类场景

收起列表

• 视频： 10-1 正则表达式RE库的查找方法 (10:41)
• 视频： 10-2 正则表达式字符匹配 (07:16)
• 视频： 10-3 正则表达式-字符集合匹配 (08:51)
• 视频： 10-4 正则表达式-数量匹配 (07:42)
• 视频： 10-5 正则表达式-边界匹配 (05:44)
• 视频： 10-6 正则表达式-贪婪和非贪婪模式 (10:21)

第11章 【第三阶段】从实践入手学习Python爬虫 12 节 | 82分钟

Scrapy是Python生态中，非常知名的异步爬虫框架，结构化的组件相互配合，以及可视化部署的服务等，都是简化开发效率，提高爬虫的运行效率

收起列表

• 视频： 11-1 第三阶段学习安排 (01:52)
• 视频： 11-2 Scrapy框架能解决什么问题 (03:01)
• 视频： 11-3 安装Scrapy框架 (05:30)
• 视频： 11-4 Scrapy完整架构学习 (06:48)
• 视频： 11-5 Scrapy基本模块介绍与工作流程 (02:46)
• 视频： 11-6 Scrapy爬虫文件模板 (12:06)
• 视频： 11-7 Scrapy命令行工具 (10:11)
• 视频： 11-8 创建Scrapy项目爬虫 (06:14)
• 视频： 11-9 Scrapy项目爬虫数据抓取.mp4 (11:05)
• 视频： 11-10 Scrapy调试模式介绍 (05:21)
• 视频： 11-11 启动Scrapy调试模式并测试.mp4 (11:31)
• 视频： 11-12 Scrapy项目多爬虫介绍 (05:25)

第12章 上手开发Scrapy项目爬虫 9 节 | 58分钟

上手一个基础的Scrapy项目爬虫，重点是了解Scrapy框架的整体结构和运行规律，了解请求和响应的流转顺序，以及各参数的处理位置

收起列表

• 视频： 12-1 明确抓取目标 (03:16)
• 视频： 12-2 创建Scrapy项目 (02:02)
• 视频： 12-3 创建spider爬虫文件 (02:14)
• 视频： 12-4 启动执行Scrapy爬虫 (04:06)
• 视频： 12-5 分析Scrapy的输出日志 (08:56)
• 视频： 12-6 编写并运行爬虫测试 (11:13)
• 视频： 12-7 获取数据并用item结构保存数据 (11:54)
• 视频： 12-8 pipeline管道文件存储数据 (10:17)
• 视频： 12-9 项目总结 (03:48)

第13章 深入学习Scrapy框架的内置中间件 4 节 | 15分钟

在Scrapy框架中，内置了很多的中间件组件，例如爬虫中间件和下载器中间件，都是管理爬虫和维护请求、响应的重要工具。

收起列表

• 视频： 13-1 Scrapy中间件的类型介绍 (04:17)
• 视频： 13-2 Scrapy中间件的内置函数 (02:58)
• 视频： 13-3 Scrapy内置爬虫中间件（一） (04:23)
• 视频： 13-4 Scrapy内置爬虫中间件（二） (03:19)

第14章 深入学习Scrapy下载器中间件和实战操作 6 节 | 55分钟

在Scrapy框架中，下载器中间件是下载器的前置组件，负责请求的处理，和响应的检测。熟练使用下载器中间件，可以精准维护和各个网站之间的会话

收起列表

• 视频： 14-1 下载器中间件内置函数介绍 (06:09)
• 视频： 14-2 Scrapy框架内置的下载器中间件（一） (04:44)
• 视频： 14-3 Scrapy框架内置的下载器中间件（二） (05:38)
• 视频： 14-4 Scrapy框架内置的下载器中间件（三） (06:08)
• 视频： 14-5 下载器中间件实战训练之User-Agent管理 (09:42)
• 视频： 14-6 下载器中间件实战训练之Cookie管理 (22:08)

第15章 深入学习Scrapy管道和下载文件 4 节 | 31分钟

学习Scrapy框架的管道组件，管道组件负责爬虫返回的数据项，并对数据项进行最后处理，例如文件图片的下载和数据的入库

收起列表

• 视频： 15-1 Scrapy pipeline管道 (03:15)
• 视频： 15-2 Scrapy内置filepipeline文件管道 (02:29)
• 视频： 15-3 Scrapy内置imagepipeline图片管道 (04:32)
• 视频： 15-4 pipeline管道实战训练 (20:17)

第16章 使用Scrapy框架开发电影网站多站点爬虫项目 12 节 | 138分钟

多个目标站点的电影网站项目，需要在一个项目内，使用多爬虫+多下载器中间件的组合，并将爬虫获取到的数据项，统一经过管道文件进行入库操作

收起列表

• 视频： 16-1 多站点爬虫实战项目概述 (05:42)
• 视频： 16-2 多站点爬虫的目标站点分析 (05:49)
• 视频： 16-3 单站爬虫自定义下载器配置说明 (05:44)
• 视频： 16-4 多站点爬虫的数据格式定义和管道设计 (03:38)
• 视频： 16-5 针对目标网站开发针对性爬虫及策略（上） (20:43)
• 视频： 16-6 针对目标网站开发针对性爬虫及策略（中） (23:26)
• 视频： 16-7 针对目标网站开发针对性爬虫及策略（下） (14:13)
• 视频： 16-8 针对目标网站开发针对性的下载器及策略 (20:06)
• 视频： 16-9 启动爬虫抓取数据并保存本地（上） (17:29)
• 视频： 16-10 启动爬虫抓取数据并保存本地（下） (17:59)
• 视频： 16-11 项目总结 (02:55)
• 图文： 16-12 【练习】Scrapy架构爬虫实战

第17章 Linux操作系统搭建和应用 6 节 | 72分钟

上手学习Linux系统的命令模式，了解Linux的目录结构，学习Linux的常用命令，方便后续Scrapy项目部署

收起列表

• 视频： 17-1 Linux版本选择与安装 (07:45)
• 视频： 17-2 Linux远程连接操作 (09:31)
• 视频： 17-3 文件和目录结构 (05:11)
• 视频： 17-4 命令结构介绍 (15:37)
• 视频： 17-5 文件及目录管理 (18:38)
• 视频： 17-6 文件权限说明和管理 (14:33)

第18章 在Linux系统上部署Scrapy爬虫项目 9 节 | 121分钟

将开发好的Scrapy爬虫项目，部署到Linux服务器上，方便管理和调度运行，启动爬虫后自动获取目标站数据

收起列表

• 视频： 18-1 Linux下安装Python和pip (14:58)
• 视频： 18-2 Linux下安装MySQL、Redis (19:59)
• 视频： 18-3 Linux下的scrapyd服务管理 (07:19)
• 视频： 18-4 将爬虫项目部署到scrapyd中 (12:40)
• 视频： 18-5 使用管道将数据写入Redis数据库 (12:55)
• 视频： 18-6 使用管道将数据写入MySQL数据库(上) (13:15)
• 视频： 18-7 使用管道将数据写入MySQL数据库(下) (14:06)
• 视频： 18-8 用网页对scrapyd进行管理 (25:18)
• 图文： 18-9 【练习】Linux系统安装Scrapyd并部署Scrapyd项目

第19章 【第四阶段】了解爬虫发展和反爬概念 4 节 | 23分钟

学习爬虫的发展历程、常见的阻挡爬虫的反爬措施，以及反爬的技术发展历程，让你对技术发展历程之前先有个初步了解。

收起列表

• 视频： 19-1 第四阶段学习安排 (03:11)
• 视频： 19-2 爬虫的发展 (03:14)
• 视频： 19-3 反爬的概念和定义 (06:10)
• 视频： 19-4 常见的反爬手段 (10:19)

第20章 常见验证码阶段爬虫和解决方法 8 节 | 105分钟

反爬的重点防护是登录环节，所以验证码阶段是反爬的重点，了解验证码反爬类型以及突破技巧

收起列表

• 视频： 20-1 验证码的版本发展 (08:43)
• 视频： 20-2 打码平台介绍 (09:02)
• 视频： 20-3 字符验证码和OCR识别（上） (22:54)
• 视频： 20-4 字符验证码和OCR识别（下） (23:14)
• 视频： 20-5 滑块验证码和贝塞尔曲线（上） (20:19)
• 视频： 20-6 滑块验证码和贝塞尔曲线（下） (13:08)
• 视频： 20-7 短信验证码和接码平台 (03:31)
• 视频： 20-8 验证码的终极目标 (03:30)

第21章 了解Cookie重要性和Cookie管理方法 5 节 | 32分钟

Cookie在网站中使用非常频繁，学习Cookie，认清其本质，熟悉与Session的区别并能对其进行管理，是爬虫必备技能之一

收起列表

• 视频： 21-1 Cookie的由来本质和功能 (06:35)
• 视频： 21-2 Cookie和Session的区别 (03:13)
• 视频： 21-3 什么是Cookie投毒 (03:43)
• 视频： 21-4 requests的Cookie自动维护 (15:17)
• 视频： 21-5 Scrapy的Cookie中间件 (02:35)

第22章 学习内容反爬之加密字体逆向解密 5 节 | 43分钟

内容加密也是常见反爬的一种，将内容加密并通过浏览器可视化展示，是比较晚出现反爬措施，难度无上限，了解和学习逆向思路很重要

收起列表

• 视频： 22-1 字体反爬的由来和介绍 (05:05)
• 视频： 22-2 字体加密的技术原理 (04:09)
• 视频： 22-3 字体映射图解析 (03:53)
• 视频： 22-4 使用Python读取字体文件 (12:25)
• 视频： 22-5 将加密内容还原 (16:33)

第23章 了解IP概念和代理IP的使用 7 节 | 55分钟

基于IP的请求管理是非常常见的反爬，爬虫们要在IP层面进行代理伪装。优秀的爬虫工程师，需要对IP相关的知识以及如何通过python接入代理服务器等操作非常熟悉。

收起列表

• 视频： 23-1 网络架构概述 (06:29)
• 视频： 23-2 带宽网络介绍 (11:26)
• 视频： 23-3 服务端的请求解析 (05:35)
• 视频： 23-4 爬虫的代理服务器介绍 (07:58)
• 视频： 23-5 固定IP服务器和动态IP服务器 (03:45)
• 视频： 23-6 Linux系统架设请求代理服务器 (07:58)
• 视频： 23-7 Python接入代理服务器代发请求 (11:23)

第24章 爬虫高频面试考点 14 节 | 91分钟

多了解爬虫知识点，熟悉爬虫招聘面试中常见的问题，不仅能帮你在面试中更通透的破解面试官套路，更能帮你加深对爬虫核心知识的掌握。

收起列表

• 视频： 24-1 爬虫的数据来源有哪些？ (10:19)
• 视频： 24-2 解析数据有哪些方式 (04:39)
• 视频： 24-3 HTTP和HTTPS有什么区别 (02:46)
• 视频： 24-4 简单说明下get请求和post请求的区别 (04:43)
• 视频： 24-5 常见的反爬手段和反爬突破方法有哪些？ (10:05)
• 视频： 24-6 简单说明下单机爬虫、分布式爬虫、增量爬虫的区别 (08:26)
• 视频： 24-7 请简单概述代理IP的种类和区别 (03:13)
• 视频： 24-8 关于不同爬虫类型中，Cookie一般都怎么管理？ (05:19)
• 视频： 24-9 验证码反爬，有哪些类型？如何处理？ (04:08)
• 视频： 24-10 爬虫获取的数据，如何清洗和存储？ (12:55)
• 视频： 24-11 你常用到的数据库有哪些 (05:22)
• 视频： 24-12 关系型数据库和非关系型数据库的区别 (05:28)
• 视频： 24-13 说说你目前碰到最头疼的反爬难题和解决方法 (11:02)
• 视频： 24-14 请简单说明下爬虫的法律法规相关信息 (02:15)

第25章 课程总结 1 节 | 5分钟

本课程总结，回顾课程知识点和整体结构

收起列表

• 视频： 25-1 课程总结 (04:12)