返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>Python打印scrapy蜘蛛抓取樹結構的方法

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構,調用也非常簡單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取樹結構的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對大家的Python程序設計有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開騙割民聽亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹結構的方法。seo67194,青島百度推廣實力樂云seo,北京婚禮策劃薇薪樂云seo,seo崗位的主要目的,亮亮seo博客,seo01動漫視頻在線觀看

如果您覺得 Python打印scrapy蜘蛛抓取樹結構的方法 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 国产成人涩涩涩视频在线观看| 国产成人午夜片在线观看| 成人毛片免费观看| 日韩精品成人一区二区三区| 亚洲精品无码乱码成人| 亚洲国产成人久久综合区| 免费国产成人α片| 2021国产成人午夜精品| 欧美成人免费全部| 成人亚洲成人影院| 亚洲无成人网77777| 久久亚洲最大成人网4438| 成人亚洲欧美激情在线电影| 成人毛片一区二区| 国产成人精品久久综合| 99国产精品久久久久久久成人热 | 亚洲人成人77777网站| 欧美成人观看免费完全| 国产成人午夜福利在线观看视频| 99国产精品久久久久久久成人热| 国产成人亚洲精品无码AV大片 | 成人毛片免费观看视频| 免看**一片成人123| 国产成人麻豆tv在线观看| 国产成人无码18禁午夜福利P| 亚洲国产成人无码av在线播放| 成人性生交大片免费视频| 亚洲国产成人久久一区二区三区 | 亚洲AV无码成人精品区在线观看 | 成人性爱视频在线观看| 一级成人a做片免费| 亚洲国产成人久久精品影视| 国产成人亚洲精品无码青青草原| 国产精品成人va在线观看| 成人年无码AV片在线观看| 欧美亚洲国产成人不卡| 香蕉久久久久久AV成人| 78成人精品电影在线播放| 亚洲国产日韩在线成人蜜芽| 亚洲国产精品成人精品小说 | 国产成人AAAAA级毛片|