Integrazione di proxy residenziali in Curl tramite strumenti API

Commenti: 0

cURL è un'utility a riga di comando inclusa nella libreria libcurl e utilizzata per trasferire dati con l'uso di vari protocolli come HTTP, HTTPS e FTP. cURL è uno dei componenti di base dei kit di strumenti degli sviluppatori, utilizzato in pratica per testare le API web, scaricare file ed eseguire altre operazioni di trasferimento dati relative a Internet.

Lo strumento fornisce anche una serie di funzioni come l'autenticazione, le connessioni proxy e le impostazioni SSL, importanti per lo sviluppo del web e dei sistemi.

I proxy residenziali sono utili per lo scraping di dati da pagine web che utilizzano alcuni metodi rilevanti per la protezione dei bot o limitano la quantità di richieste accettate da un singolo indirizzo IP. Esiste anche un'API per questi tipi di proxy, che facilita la connessione dei proxy ad altri servizi o applicazioni. Il supporto per le API consente la rotazione degli IP, che riduce al minimo le possibilità di blocco, facilitando così la gestione del proxy.

Qui dimostreremo in dettaglio come creare un elenco di proxy residenziali e aggiungerli a cURL utilizzando uno strumento API.

Creare un elenco di proxy residenziali

I proxy acquistati possono essere visualizzati nella sezione "Ordini" del cruscotto personale, alla voce "Residente". Per creare un elenco di deleghe residenziali e di integrazione API, è necessario eseguire alcuni passaggi:

  1. Impostare un nome per il nuovo elenco. Scegliere il tipo di rotazione: L'opzione "Sticky" consente di mantenere l'IP per un periodo di tempo più lungo, mentre "Rotating" permette al sistema di ruotare automaticamente i proxy residenziali. È possibile scegliere il tipo di autorizzazione tramite nome utente e password o tramite l'indirizzo IP principale.

    1en.png

  2. Nella sezione "Filtro" è possibile impostare in modo più restrittivo il paese, la regione, la città e i dettagli del provider desiderati. La riga "Porte" specifica il numero di porte da generare, che corrisponde al numero di server proxy. Non modificare, ma attenersi alle opzioni predefinite per il formato di esportazione e fare clic sul pulsante "Crea strumenti api".

    2en.png

  3. La chiave API appena creata si trova nel menu "Elenco proxy". È possibile copiare la riga per integrare la chiave API generata in cURL e vedere i dati di autorizzazione necessari in questa sezione.

    3en.png

L'ultimo passo prima di lavorare direttamente con cURL è la generazione della chiave API. Copiatela e mettetela in un file di testo, quindi modificate la stringa dopo -x, inserendovi il nome utente e la password del proxy. Il risultato dovrebbe essere il seguente:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Salvare questi dati per un'ulteriore integrazione. Procediamo ora con la configurazione del sistema che ci permetterà di interagire con cURL.

Come iniziare l'installazione di Curl

Per gli scopi di questo articolo, utilizzeremo Windows 11; questi esempi hanno Curl già incorporato nel sistema. Tuttavia, a scopo illustrativo, vediamo come eseguire questa operazione manualmente su ogni sistema operativo.

Windows

Sebbene cURL sia incluso nel set di strumenti standard di Windows 11, non è disponibile nelle versioni precedenti, come ad esempio Windows 10. Per aprire il prompt dei comandi, premete la combinazione di tasti Win+R e digitate cmd. cURL può essere installato utilizzando il gestore di pacchetti WinGet con il comando:


winget install curl.curl

Linux

Nella maggior parte delle distribuzioni Linux, cURL è disponibile attraverso i gestori di pacchetti standard. Per installarlo in Ubuntu o Debian, utilizzare:


apt-get install curl

For Red Hat-based systems such as RHEL, CentOS, or Fedora, use the Yellowdog Updater Modified (YUM):


yum install curl

OpenSUSE users can install cURL through zypper:


zypper install curl

In Arch Linux, cURL viene installato tramite pacman:


pacman -Sy curl

macOS

Su macOS, la migliore installazione di cURL avviene tramite il gestore di pacchetti Homebrew. Dopo aver installato Homebrew, eseguite il comando:


brew install curl

Ora che cURL è installato sul sistema operativo, possiamo procedere all'integrazione dei proxy residenziali utilizzando l'API.

Integrazione dei proxy residenziali in Curl e invio di una richiesta

Per verificare che ogni richiesta effettuata venga instradata attraverso il proxy, sono disponibili varie opzioni. Una delle più elementari è un servizio di test che fornisce informazioni sull'indirizzo IP utilizzato e qualsiasi altro dettaglio sulla richiesta. Servizi come httpbin.org offrono questa possibilità.

Nel prompt dei comandi, digitate l'API salvata in precedenza e alla fine aggiungete il sito di prova che è httpbin.org. Il formato è il seguente:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Questo comando permetterà di inviare una richiesta a httpbin.org utilizzando il proxy. Il servizio risponderà con un oggetto JSON contenente l'indirizzo IP da cui è stata ricevuta la richiesta e altri parametri. Se la connessione è ok, la risposta sarà come:

4.png

"origin": "90.199.172.229": Questo è l'indirizzo IP utilizzato come IP in uscita per httpbin.org e dovrebbe essere l'indirizzo IP del proxy.

Esempi di utilizzo dei flag

Oltre alla parte pratica di questo articolo, saranno utili anche alcune informazioni relative all'invio di dati tramite cURL con diversi flag.

Particolare attenzione è rivolta ai flag -d, -F e --json, ognuno dei quali ha uno scopo specifico.

Invio di dati JSON tramite proxy residenziale con -d:

Principalmente per l'invio di moduli o JSON, spesso una richiesta POST viene inviata utilizzando il flag -d o --data. Questo esempio dimostra come inviare i dati di autenticazione attraverso il proxy residenziale API, come segue:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Qui, -x è usato per configurare il proxy con i dati di autenticazione e -d invia le informazioni sull'utente al server.

Invio di un file attraverso un proxy residenziale con -F:

Il flag -F è usato per inviare file in formato multipart/form-data. Questo metodo è ideale per le API che richiedono il caricamento di file attraverso un proxy.


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

Il flag -F specifica il percorso del file da inviare e -x configura il proxy per instradare la richiesta.

Invio semplificato di JSON con --json:

Il flag --json ha lo scopo di facilitare l'invio di JSON, poiché imposta automaticamente le intestazioni appropriate che descrivono la natura dei dati.

Un esempio di invio di JSON utilizzando un proxy residenziale con cURL --json è il seguente:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

In questo caso, --json si occupa di aggiungere le intestazioni necessarie per indirizzare JSON e di inviare la richiesta attraverso il suddetto proxy a httpbin.org, che restituirà l'IP insieme alle informazioni richieste.

L'uso congiunto di cURL e dei proxy residenziali API apre un mondo di possibilità per quanto riguarda l'esecuzione di richieste in rete. La possibilità di gestire i server proxy con facilità consente agli utenti di modificare gli indirizzi IP e alcune configurazioni senza alcun intervento manuale. Questo non solo contribuisce all'automazione delle attività quotidiane, ma aumenta l'anonimato e la sicurezza delle attività legate a Internet, rendendole meno suscettibili alle minacce esterne.

Commenti:

0 Commenti