python循环效率提高的问题

Question

用台式机的python清洗文本数据，有87万行，每次都得运行4个小时左右。太费事。但我看系统资源，CPU与内存使用率都不超过65%，怎么榨干机器潜力，缩短运行时间？

Answer 1

提问者 weixin_慕先生4276243 2020-10-10 23:39:46

还有一个问题请教老师：for 循环与map方法谁的效率高？

Answer 2

提问者 weixin_慕先生4276243 2020-10-10 23:38:36

百度了一下，说是可以把文本文件切割，然后开多个线程分别循环，老师您看这个可行吗？

• 7七月 #1

  python的多线程并不是很有效的，这个可以搜索下python多线程了解下

• 7七月 #2

  所以你可以多进程啊

Answer 3

7七月 2020-10-10 19:56:19

也可以启用多个应用程序 分开处理

• 提问者 weixin_慕先生4276243 #1

  百度了一下，说是可以把文本文件切割，然后开多个线程分别循环，老师您看这个可行吗？

Answer 4

7七月 2020-10-10 19:56:06

Python不能有效利用多核CPU的，可以考虑换换别的语言或者优化下算法