出现重复的URL

Question

老师请问在”def parse_list(url): ” 中执行
if tr.xpath("//td[3]/a[@class='forums_title ']/@href").extract():
topic_url = parse.urljoin(domain, tr.xpath("//td[3]/a[@class='forums_title ']/@href").extract()[0])
print(topic_url)
为什么会出现如下重复：
未结
400
https://bbs.csdn.net/topics/392700588
未结
400
https://bbs.csdn.net/topics/392700588
未结
400
https://bbs.csdn.net/topics/392700588

Answer 1

bobby 2019-06-17 15:15:32

能否贴一下你的代码？ 以及你这里的出错的问题？ 你这个问题我还不是很明白是什么意思

• 提问者 weixin_慕勒4383646 #1

  代码如下：
  if tr.xpath("//td[3]/a[@class='forums_title ']/@href").extract():
       topic_url = parse.urljoin(domain, tr.xpath("//td[3]/a[@class='forums_title ']/@href").extract()[0])
       print(topic_url)
  结果定位到许多重复的“topic_url“
  其实，就是您代码中的parse_list板块定位topic URL的那段代码

• 提问者 weixin_慕勒4383646 #2

  老师：
        其实就是您代码中的parse_list板块定位topic URL的那段代码
  但在运行时出现重复结果

• bobby 回复 提问者 weixin_慕勒4383646 #3

  你留下qq 我加你看看

点开查看后面2条评论