Comment mettre en place un proxy pour Scrapy

Scrapy est un programme de scraping et de crawling sur le web. Il permet de collecter les informations nécessaires sur l'ensemble de l'internet, de traiter les données et de les organiser sous forme de feuilles de calcul. L'ensemble de ce processus deviendra encore plus efficace et plus sûr si vous mettez en place des serveurs proxy pour Scrapy.

Même si le scraping n'est pas interdit, de nombreuses ressources web bloquent activement les utilisateurs pour de telles actions sur leurs sites. Pour résoudre ce problème, vous avez besoin de serveurs mandataires. Les serveurs mandataires cachent votre adresse IP et la remplacent par d'autres, et toutes les actions du programme paraîtront organiques, comme si les sites étaient visités non pas par un programme, mais par de vraies personnes.

Paramètres du proxy dans Scrapy, étape par étape

Il y a deux façons de mettre en place un proxy changeant d'IP dans Scrapy.

Méthode 1 : par le biais des paramètres de la requête

Dans cette option, vous devez écrire le proxy en tant que paramètre.

1. Ouvrir Scrapy.
2. Dans le code, trouvez le middleware nommé "HttpProxyMiddleware".
3. Trouvez le paramètre "meta" et entrez ensuite les données de votre serveur proxy dans le format suivant : "proxy" : "type://adresse IP:port:nom d'utilisateur:mot de passe".



4. Fermez le code et mettez-vous au travail.

Méthode 2 : Par le biais de votre logiciel intermédiaire

C'est ici que vous devez créer votre logiciel intermédiaire. Cette méthode est considérée comme plus isolée et plus sûre.

1. Ouvrir le programme.
2. Entrez le code avec vos données de proxy dans le format : ["proxy"] = "type://adresseIP:Port:Nomd'utilisateur:Motdepasse".



3. Activez ce middleware dans les paramètres et placez-le avant le paramètre "HttpProxyMiddleware".
4. Fermez le code. La configuration est terminée !

Comment vérifier si un proxy fonctionne dans Scrapy ?

1. Ouvrez n'importe quel site qui peut déterminer votre adresse IP (tapez simplement la requête "Mon adresse IP" ou "Tester l'adresse IP" et choisissez celle qui vous convient).
2. Scrapez-le avec Scrapy.
3. Si l'adresse de votre serveur proxy s'affiche, l'installation a réussi.

Pour le service Scrapy, il est préférable de choisir des proxys privés de haute qualité tels que HTTP et SOCKS5. Ils sont fiables, rapides et peuvent vous protéger contre tout blocage.