tornado 中使用进程池

Question

我有个非常耗时的 Handler，每次它执行都需要花费几个小时，并且我需要获取它执行过程中的 stdout 和 stderr，所以我需要用到进程池。

我想问一下老师，tornado 中有提供异步的进程池吗？还是说进程池与异步无关，直接用 concurrent.futures.ThreadPoolExecutor？

Answer 1

bobby 2019-02-11 09:53:22

tornado底层使用的是asyncio，asyncio的loop有一个方法 run_in_executor 这个方法会将你的方法放入到线程池中运行，因为asyncio启动的时候会启动一个线程池

• 提问者 今日长剑在握 #1

  我在仿写 scrapyd 的一个功能，需要获取进程执行后的 stdout 和 stderr，用来给被调度的爬虫生成日志。所以一定要用进程

• bobby 回复 提问者 今日长剑在握 #2

  好的，