下载APP

慕课网APP - 随时随地学编程

App Store下载 Android下载

扫描下载慕课网APP

/ 实战 / 畅销3年的Python分布式爬虫课程 Scrapy打造搜索引擎（2020版）

畅销3年的Python分布式爬虫课程

Scrapy打造搜索引擎（2020版）

难度中级时长 26小时学习人数 4936 综合评分 9.96

立即购买加购物车

观看试看视频

畅销3年的Python分布式爬虫课程 Scrapy打造搜索引擎（2020版）

未来是什么时代？是数据时代！数据分析服务、互联网金融，数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做，而爬虫正是快速获取数据最重要的方式，相比其它语言，Python爬虫更简单、高效

bobby

Python全栈工程师

课程预览

检测到您还没有关注慕课网服务号，无法接收课程更新通知。请扫描二维码即可绑定

重新观看

一门持续迭代三年的良心口碑课

3年时间累计解决问题4577条
3年时间内容迭代10+小时
3年时间从未涨价

2017年3月

至今

1.网站302之后的模拟登录操作
2.cookie传递

1.selenium实现模拟登录
倒立文字识别
2.selenium自动识别验证码

1.以新技术版本重新录制案例
进行技术迭代
2.有针对性的进行优化延展
替换抓取方案

1.cookie池的设计和实现
2.模拟登录做成独立的服务
3.增量抓取的方案
4.定时爬虫的解决方案
5.两个服务通过redis进行通信

单机爬虫（Scrapy）到分布式爬虫（Scrapy-Redis）的完美实战

不怕你和别的爬虫课程比较，随便去看，你会明白，慕课网的情怀从来不是靠嘴说的，是靠高质量内容体现的

说真的，你再也没有理由学不会爬虫了

从0开始讲解
爬虫基本原理

讲精讲透
流行爬虫框架
Scrapy

从单机爬虫到
分布式爬虫

爬取知名网站
真实数据

打造自己的
搜索引擎

从0讲解爬虫基本原理，对爬虫中所需要用到的知识点进行梳理，从搭建开发环境、设计数据库开始，通过爬取三个知名网站的
真实数据，带你由浅入深的掌握Scrapy原理、各模块使用、组件开发，Scrapy的进阶开发以及反爬虫的策略

彻底掌握Scrapy之后，带你基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

Scrapy框架

Redis数据库

Elasticsearch搜索引擎

Django框架

我们的目标：分布式爬虫Scrapy-Redis搭建搜索引擎

前台搜索后台数据交互前台搜索结果

由浅入深，掌握Scrapy

爬虫开发环境搭建
及基础知识

- 于windows和linux

Scrapy爬虫搭建
及单机爬虫实战案例

整个开发过程中还会讲到很多爬虫开发的知识，这些知识不管是对Web系统的理解还是面试都是非常重要的知识点，包括正则表达式、url去重的策略、深度优先和广度优先遍历算法及实现、session和cookie的区别以及如何通过多种方式去实现模拟登录

爬取技术社区文章：

掌握：xpath， css选择器 / items设计 / pipeline， twisted保存数据到mysql

爬取问答网站：

掌握：session和cookie原理 / scrapy FormRequest和requests模拟知乎登陆
item loader方式提取数据

爬取招聘网站：

掌握：link extractor / scrapy Rule提取url / CrawlSpider爬取全站

scrapy进阶

突破反爬机制

scrapy原理
ip代理、user-agent随机切换
云打码实现验证码识别

scrapy进阶

selenium和phantomjs动态网站爬取
scrapy telnet、web service
scrapy信号和核心api

scrapy-redis分布式爬虫

redis
scrapy-redis源码分析
redis-bloomfilter集成到scrapy-redis

搜索引擎开发流程

- 数据解析和入库
- Scrapy-Redis分布式爬虫开发
- 数据保存到elasticsearch
- 通过django搭建搜索引擎

学员专享增值服务

问答专区

关于课程的问题都可在问答区随时提问,讲师会进行
集中答疑

源码开放

课程案例代码完全开放给你，你可以根据所学知
识，自行修改、优化

适合人群

适合对爬虫感兴趣、想做大数据开发却找不到数据
又不知如何搭建一套稳定可靠的分布式爬虫的同学
想搭建搜索引擎但是不知道如何入手的同学

技术储备要求

具备一定的原生爬虫基础
了解前端页面，面向对象概念，计算机网络协议和数据库知识

环境参数

技术语言 python3.5
框架 scrapy1.3 elasticsearch5
框架 django1.11 redis
开发系统 windows/ linux / mac
数据库 mysql5.6 redis
IDE pycharm
工具 virtualenv navicat

万事俱备只等你来

慕用7288366

好评

听了课程之后才知道好评不是刷出来的。第一次听付费课程，物有所值，还没学完，继续加油！
经常偷懒的持续学习者

好评

外面的爬虫课程你随便比，就目前为止，找到更好的算我输。不过在耐心看完前面的scrapy课程，已经亲手做了很多爬虫之后，反而看后面的打造搜索引擎部分有点懈怠了，飘飘然了，不过还是慢慢看完的，哈哈
慕少8377342

好评

找工作前一周买的老师的课程，看到教学目录就很心动，果断买下了，老师讲的很仔细，现在已经成功拿到了offer，感谢老师课程！