Conas seachfhreastalaí a bhunú le haghaidh scrapy

Is clár scríobtha agus crawling gréasáin é Scrapy. Cabhraíonn sé leis an bhfaisnéis riachtanach a bhailiú ó gach cearn den idirlíon, na sonraí a phróiseáil, agus é a eagrú i scarbhileoga. Beidh an próiseas iomlán seo níos éifeachtaí agus níos daingne má bhunaíonn tú seachfhreastalaithe le haghaidh scrapy.

Cé nach bhfuil cosc ​​ar scríobadh, cuireann go leor acmhainní gréasáin cosc ​​ar úsáideoirí go gníomhach le haghaidh gníomhartha den sórt sin ar a láithreáin. Chun an fhadhb seo a réiteach, tá seachvótálaithe de dhíth ort. Cuirfidh freastalaithe seachvótálaí do sheoladh IP i bhfolach agus cuirfidh siad daoine eile in áit é, agus beidh cuma orgánach ar ghníomhartha uile an chláir amhail is nach dtugann clár cuairt ar na suíomhanna, ach ag daoine fíor.

Socruithe seachfhreastalaí céim ar chéim i scrapy

Tá dhá bhealach ann chun seachvótálaí atá ag athrú IP a bhunú i scrapy.

Method 1: Through query parameters

Sa rogha seo, ní mór duit an seachvótálaí a scríobh mar pharaiméadar.

1. Scrapy oscailte.
2. Sa chód, faigh an lár -earraí darb ainm "Httpproxymiddleware".
3. Faigh an paraiméadar "meta" agus an chéad cheann eile cuir isteach do shonraí seachfhreastalaí san fhormáid: "Proxy": "type: // ip-address: port: ainm úsáideora: pasfhocal".



4. Dún an cód agus téigh ag obair.

Method 2: Through your middleware

Anseo ní mór duit do mheán -earraí a chruthú. Meastar go bhfuil an modh seo níos leithne agus níos sábháilte.

1. Oscail an clár.
2. Cuir isteach an cód le do shonraí seachfhreastalaí san fhormáid: ["Proxy"] = "type: // ip-address: Port: Ainm Úsáideora: Pasfhocal".



3. Cumasaigh an lár -earraí seo sna suíomhanna agus cuir é os comhair an pharaiméadar "httpproxymiddleware".
4. Dún an cód. Tá an chumraíocht críochnaithe!

Conas a sheiceáil an bhfuil seachvótálaí ag obair i scrapy

1. Oscail aon suíomh ar féidir leis do sheoladh IP a chinneadh (ach an ceist "mo sheoladh IP" nó "seoladh IP tástála" a chlóscríobh agus roghnaigh an ceann is mian leat).
2. Scrape é le scrapy.
3. Má fheiceann tú seoladh do sheachfhreastalaí mar thoradh air sin, d'éirigh leis an thus.

Maidir leis an tseirbhís scrapy, is fearr proxies phríobháideacha ardchaighdeáin a roghnú mar HTTP agus SOCKS5. Tá siad iontaofa, tapa, agus is féidir leo tú a chosaint ó aon bhlocáil.