scrapy和普通的爬蟲有什麼區別？

1樓：匿名使用者

普通的爬蟲，有點像手工雕刻，每一步都需要自己操作。

scrapy則像一個雕刻的流水線，只需要做一些原料填充、細節糾正的工作。

開源爬蟲框架各有什麼優缺點？

什麼是分散式爬蟲和單機爬蟲有什麼區別

2樓：匿名使用者

分散式爬蟲就是多臺計算機上都安裝爬蟲程式，重點是聯合採集。單機爬蟲就是隻在一臺計算機上，叫做單機。前嗅的forespider資料採集系統就有單機和伺服器版，比如只在一臺伺服器上的爬蟲，雖然開了多程序，但還是伺服器單機的。

但是如果在多個伺服器上，並且能夠協同採集，就是分散式的。

3樓：八爪魚大資料

分散式爬蟲是在多個伺服器上部署爬蟲程式，是一種提高爬取效率的方法。

單機爬蟲是使用本地電腦發出http請求，是一種反爬策略，可以突破ip限制。

4樓：匿名使用者

1、預設情況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上執行，因為爬蟲排程器當中的佇列queue去重和set集合都是本機上建立的。

其他的電腦無法訪問另外一臺電腦上的記憶體的內容。

2、分散式爬蟲用一個共同的爬蟲程式，同時部署到多臺電腦上執行，這樣可以提高爬蟲速度，實現分散式爬蟲。——極光爬蟲。

python scapy 和 scrapy的區別

5樓：月亮旁de雲朵兒

我這實驗的結果是一個gethostbyaddr 2秒左右（沒用多執行緒）不知樓主的情況怎麼樣另外，如果不是非python不可，可以考慮用nbtscan嘛，python的gethostbyaddr是用c寫的lib也就是說再優化也優化不到哪去的了。

6樓：匿名使用者

簡單說：

scrapy 是寫爬蟲用的。

scapy 是網路包工具，監控網路包，模擬網路包等等。

pyspider 和 scrapy 比較起來有什麼優缺點嗎

7樓：匿名使用者

pyspider的優點是簡單，立刻就能上手，指令碼編寫規則。懂了的話，一小時寫甚至可以寫十多個爬蟲。

scrapy的優點是自定義程度高，適合學習研究爬蟲技術，要學習的相關知識也較多，故而完成一個爬蟲的時間較長。

學python爬蟲一定要學scrapy模組嗎

8樓：新不起浪

不一定。scrapy就像一個成品車庫。你開那輛車都行，只管開。

但你可以自己拼裝自己的車。或者你可以改裝車。

只要是車，你就可以開著跑了！

所以，爬蟲可以自己寫，也可以用別人的，也可以改別人的。