puppeteer与splash问题

Question

我们在课程的中使用的是selenium，可以加载js渲染回来的数据以及模拟用户的行为。
1、而puppeteer也是处理js渲染的，而splash也是处理js渲染的， 到底scrapy配合跟这三者中的哪一个才好用？？
2、我在你的课程里学了selenium，我应该接下来去学哪一个才适合之类的，你能给我一个建议么

Answer 1

慕粉4246479 2021-06-14 11:37:37

我也有同样的疑问。 splas与scray集成很简单，但是目前运行下来splash可以自动加载js，但是对xhr请求的数据一直渲染不出来。

是不是splash不支持ajax？

puppeteer支持ajax吗？

• bobby #1

  puppeteer的python版本好像很久不更新了，如果要使用建议使用nodejs版本的，然后通过grpc和python交互即可

Answer 2

bobby 2021-01-02 11:31:48

puppeteer目前看来发展态势最好，但是puppeteer最好是使用nodejs版本的，如果想在python中调用nodejs的逻辑 最好了解一下grpc

• 提问者 慕工程0291652 #1

  也就是说想要在pycharm同时联调python代码和nodejs代码，需要grpc??如果是，那老师有没有grpc的知识文章？我在百度上找的都是比较简单粗暴的， 还有PyExecJs第三方包不是也可以调用node.js么？？

• bobby 回复 提问者 慕工程0291652 #2

  grpc网上的资料很完善 grpc就是一个远程的rpc框架 可以跨任何语言交互 https://www.jianshu.com/p/6e5f6f1280b9