返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>Python打印scrapy蜘蛛抓取樹結構的方法

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構,調用也非常簡單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取樹結構的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對大家的Python程序設計有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開騙割民聽亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹結構的方法。seo67194,青島百度推廣實力樂云seo,北京婚禮策劃薇薪樂云seo,seo崗位的主要目的,亮亮seo博客,seo01動漫視頻在線觀看

如果您覺得 Python打印scrapy蜘蛛抓取樹結構的方法 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 老司机成人精品视频lsj| 国产成人精品无缓存在线播放| 中文字幕在线成人免费看| 亚洲人成人77777网站| 中国国产成人精品久久| 成人毛片18女人毛片免费视频未 | 国产国产成人久久精品杨幂| 亚洲av无码专区在线观看成人 | 成人狠狠色综合| 四虎成人免费网址在线| 欧美成人aa久久狼窝动画| 国产成人久久精品一区二区三区| 亚洲国产精品一区二区成人片国内| 成人欧美一区二区三区| www亚洲成人| 国产亚洲精品无码成人| 成人午夜精品无码区久久| 亚洲av无码成人精品国产| 国产成人在线观看网站| 国产精品成人免费福利| 成人国产精品2021| 69国产成人精品午夜福中文| 国产成人免费午夜在线观看| 成人永久免费福利视频网站| 37pao成人国产永久免费视频 | 国产成人精品午夜在线播放| 欧美日韩国产成人综合在线| 青青草成人影院| 69国产成人精品午夜福中文| 久久久久99精品成人片试看| 午夜成人免费视频| 国产成人免费高清在线观看 | 成人永久福利在线观看不卡| 日韩欧美成人乱码一在线| 亚洲AV成人中文无码专区| 国产成人在线观看网站| 成人毛片在线播放| 成人免费网站视频www| 成人福利小视频| 国内精品国产成人国产三级| 国产成人高清亚洲一区久久|