如何将 nodejs 服务集成进来呢?
1.3k
等1人参与

题目描述:

在动态网页的抓取技术中为了方便抓取我们会大量的采用 selenium 来控制浏览器的 driver 来通过控制浏览器抓取网站,这样就省去了分析 js 的过程,但是大量的网站开始识别出来了这种 driver,那么如何解决这个问题呢?nodejs 提供了 puppeteer 可以解决被识别的问题,但是 puppeteer 是 nodejs 实现的,虽然是 pypuppeteer 版本但是已经不维护了,那么问题来了:如何将 nodejs 服务集成进来呢?如何在 python 中调用 nodejs 呢?

思路点拨:

调用 nodejs 服务有两种方案: 1. 通过 redis 或者 kafka 这种解耦两个服务 2. 通过 grpc 实现不同语言间的调用

我的作业
去发布

登录后即可发布作业,立即

全部作业
0
评论
提交于  2024-02-27 08:58:59

登录后即可查看更多作业,立即

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号