Intégration des proxy résidentiels dans Curl via les outils API

cURL est un utilitaire de ligne de commande inclus dans la bibliothèque libcurl et utilisé pour transférer des données à l'aide de divers protocoles tels que HTTP, HTTPS et FTP. cURL est l'un des composants de base des kits d'outils des développeurs, utilisé en pratique pour tester les API web, télécharger des fichiers et effectuer d'autres tâches de transfert de données liées à l'internet.

L'outil fournit également une variété de fonctions telles que l'authentification, les connexions proxy et les paramètres SSL, qui sont importantes pour le développement du web et des systèmes.

Les proxys résidentiels sont utiles pour extraire des données de pages web qui utilisent des méthodes de protection contre les robots ou qui limitent le nombre de requêtes acceptées à partir d'une seule adresse IP. Il existe également une API pour ces types de proxys, qui facilite la connexion des proxys à d'autres services ou applications. Cette prise en charge de l'API permet la rotation des IP, ce qui réduit les risques de blocage et facilite donc la gestion du proxy.

Nous allons ici montrer en détail comment créer une liste de proxys résidentiels et les ajouter à cURL à l'aide d'un outil API.

Création d'une liste de procurations résidentielles

Les proxies achetés peuvent être consultés dans la section "Commandes" du tableau de bord personnel sous "Résident". Pour établir une liste des proxys résidentiels et de l'intégration de l'API, il y a quelques étapes à suivre :

1. Donnez un nom à votre nouvelle liste. Choisissez le type de rotation : L'option "Sticky" permet de conserver l'IP le plus longtemps possible, et l'option "Rotating" permet au système d'effectuer une rotation automatique des proxies résidentiels. Le type d'autorisation peut être choisi soit par nom d'utilisateur et mot de passe, soit par l'adresse IP principale.

   

2. Définissez plus précisément le pays, la région, la ville et le fournisseur souhaités dans la section "Filtre". La ligne Ports spécifie le nombre de ports à générer, ce qui correspond au nombre de serveurs proxy. Ne changez rien, mais conservez les options par défaut pour le format d'exportation et cliquez sur le bouton "Créer des outils api".

   

3. La clé API nouvellement créée se trouve dans le menu "Proxy List". Vous pouvez copier la ligne pour intégrer la clé API générée dans cURL et voir les données d'autorisation nécessaires dans cette section.

   

La dernière étape avant de travailler directement avec cURL est la génération de la clé API. Copiez-la et placez-la dans un fichier texte, puis éditez la chaîne après -x, en y insérant le nom d'utilisateur et le mot de passe du proxy. Le résultat devrait être le suivant :

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Sauvegardez ces données pour une intégration ultérieure. Maintenant, procédons à la configuration du système qui nous permettra de nous engager avec le cURL.

Démarrage de l'installation de Curl

Pour les besoins de cet article, nous utiliserons Windows 11, ces exemples ont déjà Curl intégré dans le système. Cependant, à titre d'illustration, nous allons voir comment procéder manuellement sur tous les systèmes d'exploitation.

Windows

Although cURL is included in the standard set of tools in Windows 11, it is not available in earlier versions, such as Windows 10. To open the command prompt, press the Win+R key combination and enter cmd. cURL can be installed using the package manager WinGet with the command:

winget install curl.curl

Linux

Dans la plupart des distributions Linux, cURL est disponible via les gestionnaires de paquets standard. Pour l'installer dans Ubuntu ou Debian, utilisez :

apt-get install curl

Pour les systèmes basés sur Red Hat tels que RHEL, CentOS ou Fedora, utilisez le Yellowdog Updater Modified (YUM) :

yum install curl

OpenSUSE users can install cURL through zypper:

zypper install curl

Sous Arch Linux, cURL est installé via pacman :

pacman -Sy curl

macOS

Sur macOS, la meilleure façon d'installer cURL est de passer par le gestionnaire de paquets Homebrew. Après avoir installé Homebrew, exécutez la commande :

brew install curl

Maintenant que cURL est installé sur le système d'exploitation, nous pouvons procéder à l'intégration des proxys résidentiels à l'aide de l'API.

Intégration des proxy résidentiels dans Curl et envoi d'une requête

Pour vérifier que chaque requête est bien acheminée par le proxy, plusieurs options sont disponibles. L'une des plus élémentaires est un service de test qui fournit des informations sur l'adresse IP utilisée et d'autres détails sur la requête. Des services tels que httpbin.org offrent cette possibilité.

Dans l'invite de commande, tapez l'API précédemment sauvegardée et ajoutez à la fin le site de test qui est httpbin.org. Le format est le suivant :

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Cette commande permettra d'envoyer une requête à httpbin.org en utilisant le proxy. Le service répondra avec un objet JSON contenant l'adresse IP depuis laquelle la requête a été reçue et d'autres paramètres. Si la connexion est correcte, la réponse sera la suivante :

"origin": "90.199.172.229": Il s'agit de l'adresse IP utilisée comme IP sortante pour httpbin.org et qui devrait être l'adresse IP du proxy.

Exemples d'utilisation des drapeaux

En plus de la partie pratique de cet article, des informations concernant l'envoi de données via cURL avec différents drapeaux seront également utiles.

Une attention particulière est portée aux drapeaux -d, -F et --json, chacun ayant une fonction spécifique.

Envoi de données JSON à travers un proxy résidentiel en utilisant -d:

Principalement pour l'envoi de formulaires ou de JSON, une requête POST est souvent envoyée à l'aide de l'option -d ou --data. Cet exemple montre comment envoyer des données d'authentification par le biais d'un proxy résidentiel API comme suit :

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Ici, -x est utilisé pour configurer le proxy avec des données d'authentification, et -d envoie des informations sur l'utilisateur au serveur.

Envoi d'un fichier à travers un proxy résidentiel en utilisant -F:

L'option -F est utilisée pour envoyer des fichiers au format multipart/form-data. Cette méthode est idéale pour les API qui nécessitent le téléchargement de fichiers via un proxy.

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

The -F flag specifies the path to the file that should be sent, and -x configures the proxy to route the request.

Envoi simplifié de JSON avec --json:

L'option --json vise à faciliter l'envoi de JSON en définissant automatiquement les en-têtes appropriés décrivant la nature des données.

Voici un exemple d'envoi de JSON à l'aide d'un proxy résidentiel avec cURL --json :

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Dans ce cas, --json se charge d'ajouter les en-têtes nécessaires pour cibler le JSON et envoie la requête via ledit proxy à httpbin.org qui renverra l'IP avec les informations demandées.

L'utilisation conjointe de cURL et de proxys résidentiels API ouvre un monde de possibilités en ce qui concerne l'exécution de requêtes réseau. La capacité de gérer les serveurs proxy avec facilité permet aux utilisateurs de changer les adresses IP et certaines configurations facilement sans aucune entrée manuelle. Cela permet non seulement d'automatiser les tâches quotidiennes, mais aussi d'accroître l'anonymat et la sécurité des activités liées à l'Internet, en les rendant moins sensibles aux menaces extérieures.