生产爬虫如何使用位置

Question

假设生产环境爬取哔哩哔哩，肯定用Linux模拟无浏览器界面，这种时候怎么处理？屏幕最大化和缺口距离像60这种量出来的值怎么解决？有没有通用的解决方案？

Answer 1

bobby 2021-02-17 16:56:19

不管是不是linux上运行，但是实际上你开发的时候可以使用windows来开发，这些开发过程中这些数据都能自己量出来的啊

• 提问者 慕函数2082699 #1

  这里面有两个问题：1、cookie服务最终还是要在生产环节使用的，那在本地开发时量出来的尺寸，想60这种缺口和边的距离还有用吗？；2、登陆的时候有一个max_size满屏的初始化，那在无界面的时候这个还有用吗？

• bobby 回复 提问者 慕函数2082699 #2

  1. 这个60个像素是chrome自带的，如果本地是60像素那么在生产环境中也是一样的 2. max_size也可以试试 。 3. 如果只是为了模拟登录，为什么不用一台windows的服务器专门用于这种有界面的爬虫呢。不一定非要使用linux操作系统，这样也能省去很多麻烦