如何将 nodejs 服务集成进来呢?
362

题目描述:

在动态网页的抓取技术中为了方便抓取我们会大量的采用 selenium 来控制浏览器的 driver 来通过控制浏览器抓取网站,这样就省去了分析 js 的过程,但是大量的网站开始识别出来了这种 driver,那么如何解决这个问题呢?nodejs 提供了 puppeteer 可以解决被识别的问题,但是 puppeteer 是 nodejs 实现的,虽然是 pypuppeteer 版本但是已经不维护了,那么问题来了:如何将 nodejs 服务集成进来呢?如何在 python 中调用 nodejs 呢?

思路点拨:

调用 nodejs 服务有两种方案: 1. 通过 redis 或者 kafka 这种解耦两个服务 2. 通过 grpc 实现不同语言间的调用

我的作业
去发布

登录后即可发布作业,立即

全部作业

数据加载中...

意见反馈 帮助中心 APP下载
官方微信