10-26 23:24:09

pineryme

好评

之前用过scrapy写爬虫来抓取基金公司净值数据以实现最快的收益展示，就发现非常方便。最近公司有了专门做数据服务的部门，但是爬虫的管理还是太过混乱，而且使用的都是类似request+beautifulsoup的方式，所以希望能有一个系统的爬虫管理平台，实现任务的监控、信息的收集、还有基本数据检查纠错。之前准备自己系统看一边scrapy文档，但是太耗时间，很庆幸发现了这个视频教程，scrapy的使用基本都会用，但这个课程最大的亮点就是讲到了scrapy的源码，帮助了解整个爬虫系统设计思路，很是受益。感谢bobby老师。对了，这是最近买的bobby老师的第三门课程，双倍速看得很带劲。

讲师回复: 非常感谢对课程的支持

旋转

09-24 14:38:52

等***锅

好评

终于看完了，总是老师操作的时候可以，到我操作时候就是一堆坑（苦笑脸……），后来看了资料才知道爬虫没有那么难，掌握requests加xpath语法就行了；scrapy框架没有什么用，分布式爬虫企业基本上不用scrapy-redis，用celery来做分布式。就这么多，加油吧！还有老师讲的英文总是让我误解~

讲师回复: 亲，目前爬虫的招聘信息上可以看到，很多招聘都需要有scrapy经验。scrapy-redis分布式爬虫其实不能说是企业不用，很多企业的爬虫并不是直接使用scrapy-redis而是直接去参考scrapy-redis的源码去改造scrapy，所以课程中我花了一个章节专门完全解析scrapy-redis的源码。从个人的爬虫经历来讲，爬虫其实并不简单，首先一个爬虫系统需要解决的问题并不是如何将所有页面抓取下来，爬虫的逻辑其实很简单， 但是在实际爬虫的开发过程中真正遇到的问题是如何去解析做一个通用的爬虫，让大家把更多的精力放在真正的区别任务上，比如模拟登录，ip代理。中间件去处理cookie等很多爬虫共有的问题。以及如何去写一个通用的基础类爬虫。这些用requests当然也能完成。但是requests+celery真正在实际的开发过程中你会发现，你要解决的并不是如何去抓取页面而是如何去应对反爬虫和高并发的问题，所以等你用requests写了几年爬虫后你会发现你的爬虫框架越来越像scrapy了，而且代码组织的并不是很合理，但是这些问题在scrapy中已经包含的情况下为什么还要我们自己去重写呢？

旋转

09-07 19:39:22

ZzzZHH

好评

bobby老师技术很牛，讲课认真负责，已上完他两门课，真的特别有进步，而且bobby老师每个问题都会认真解答，很幸福能听到他的课，多谢老师！

05-30 20:37:10

爽哥V武

好评

很棒，之前自己学爬虫，用Beautifulsoup + requests爬链家等等的数据，觉得几个，但是觉得有点乱。然后自己看scrapy感觉每太搞懂，学了bobby老师的课后，觉得豁然开朗呀~~~

03-08 08:23:23

jiminie125

好评

很好 干货很多 补充很多 看得出来老师很负责 很认真 点赞 对了 我有个关于virtualenv的问题 麻烦老师回答啊 已经发在课程问答里了 感谢

02-22 18:09:24

_noble

好评

有挑战，有动力，非常不错的一门实战课程，自己收获非常大。虽然遇到一些问题，花费了不少时间，但总之体验还是很不错的，感谢老师录制的这门课程，希望老师加油！！！

11-16 10:13:26

noblenooble

好评

一些配置对比最新版本有点差异 所以没点python基础的人学起来可能累。还有如果没有http 协议的知识做支持的话 可能学起来会云里雾里。 整体而言感觉干货挺多但内容不算很深 适合scrapy 入门 各种特性都介绍了一遍但也没很深入 估计时间精力成本吧 总而言之 是很好的教程

08-03 14:53:28

慕仰8103579

好评

课程质量真的很不错，能够深入到源码讲解原理，既有深度也有广度。老师也非常认真负责，即使很小白的问题（有些学生问题都问的都不清楚），也亲自答复，令人佩服。

07-25 09:18:20

ciphermagic

好评

课程很详细，原理和操作过程都讲得很清楚，对于有一定经验的人很容易上手。没有python经验的最好先补充一下。总的来说，本课程很实际，名副其实的实战课程。

07-24 17:10:55

X***8

好评

整个过程中，即使按照老师说的，原封不动的写入代码或者直接贴入源码，也会出现各种问题。。。折腾下来，耗时甚多。。。 学习此课，得有强大的内心和足够的耐心 另外课程的有些问题希望能即使更新补充视频吧，答题区的答案也不一定适合自己的情况。。。 所以课程整体不错，关键还得靠自己折腾啊！！！

讲师回复: 亲 我看了一下你的提问， 实际上不是课程代码问题造成了你那边运行会出现各种问题，代码本身是没问题的， 只是因为不同的网站在不停的加强自己的反爬策略， 你的提问中的问题是因为反爬虫导致了会重定向到302页面，建议在最开始学习的时候不要过度爬取，慢慢来，等到学习了后面的反爬策略以后再大规模爬取，如果前期一上来就过快爬取很容易被识别为爬虫的。祝学习愉快

旋转