老师你好, 我想把你的爬虫代码转成Python语言的

Question

老师, 能提供一点 思路嘛, 就比如说 engine这段代码, 用python没有struct这种语法, 我就 有点 蒙圈了.希望老师给个思路

Answer 1

ccmouse 2018-11-19 20:30:26

struct转成python很方便啦：）使用python的class就行，甚至轻量一些的话，使用named tuple也可以。

但是这边爬虫转到python的难点在于那些channel。python里面没有与之对应的东西。我们背后是一个多任务并发的运行系统。python 3经过多次改进，现在也支持并发。同学可以看一下使用async/await进行异步编程的相关知识。不过这个模型和go的模型不一样，因此我们可能需要比较大规模的重写代码才行。

• 提问者 鱼右 #1

  说到这里，我还想问，老师 Go里面的channel在python 里面有什么代替呢，或则说python 中为什么没有channel 这种东西呢

• ccmouse #2

  python没有直接的替代。他有自己的一套异步编程机制。这个go语言是比较创新的。python作为一门历史更长的语言，很难在现有模型中再加入channel那套东西

• 提问者 鱼右 回复 ccmouse #3

  好的，谢谢老师，老师最近有新的实战课嘛，翘首以盼中

Answer 2

ccmouse 2018-11-19 20:34:31

当然，如果只是想实现一个爬虫的话，我们更应当考虑开源框架，比如scrapy。慕课网上也有相关的课程。

相信同学上完我这门课后，再去使用scrapy会很容易上手。