cURL è un'utility a riga di comando inclusa nella libreria libcurl e utilizzata per trasferire dati con l'uso di vari protocolli come HTTP, HTTPS e FTP. cURL è uno dei componenti di base dei kit di strumenti degli sviluppatori, utilizzato in pratica per testare le API web, scaricare file ed eseguire altre operazioni di trasferimento dati relative a Internet.
Lo strumento fornisce anche una serie di funzioni come l'autenticazione, le connessioni proxy e le impostazioni SSL, importanti per lo sviluppo del web e dei sistemi.
I proxy residenziali sono utili per lo scraping di dati da pagine web che utilizzano alcuni metodi rilevanti per la protezione dei bot o limitano la quantità di richieste accettate da un singolo indirizzo IP. Esiste anche un'API per questi tipi di proxy, che facilita la connessione dei proxy ad altri servizi o applicazioni. Il supporto per le API consente la rotazione degli IP, che riduce al minimo le possibilità di blocco, facilitando così la gestione del proxy.
Qui dimostreremo in dettaglio come creare un elenco di proxy residenziali e aggiungerli a cURL utilizzando uno strumento API.
I proxy acquistati possono essere visualizzati nella sezione "Ordini" del cruscotto personale, alla voce "Residente". Per creare un elenco di deleghe residenziali e di integrazione API, è necessario eseguire alcuni passaggi:
L'ultimo passo prima di lavorare direttamente con cURL è la generazione della chiave API. Copiatela e mettetela in un file di testo, quindi modificate la stringa dopo -x, inserendovi il nome utente e la password del proxy. Il risultato dovrebbe essere il seguente:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com
Salvare questi dati per un'ulteriore integrazione. Procediamo ora con la configurazione del sistema che ci permetterà di interagire con cURL.
Per gli scopi di questo articolo, utilizzeremo Windows 11; questi esempi hanno Curl già incorporato nel sistema. Tuttavia, a scopo illustrativo, vediamo come eseguire questa operazione manualmente su ogni sistema operativo.
Sebbene cURL sia incluso nel set di strumenti standard di Windows 11, non è disponibile nelle versioni precedenti, come ad esempio Windows 10. Per aprire il prompt dei comandi, premete la combinazione di tasti Win+R e digitate cmd. cURL può essere installato utilizzando il gestore di pacchetti WinGet con il comando:
winget install curl.curl
Nella maggior parte delle distribuzioni Linux, cURL è disponibile attraverso i gestori di pacchetti standard. Per installarlo in Ubuntu o Debian, utilizzare:
apt-get install curl
For Red Hat-based systems such as RHEL, CentOS, or Fedora, use the Yellowdog Updater Modified (YUM):
yum install curl
OpenSUSE users can install cURL through zypper:
zypper install curl
In Arch Linux, cURL viene installato tramite pacman:
pacman -Sy curl
Su macOS, la migliore installazione di cURL avviene tramite il gestore di pacchetti Homebrew. Dopo aver installato Homebrew, eseguite il comando:
brew install curl
Ora che cURL è installato sul sistema operativo, possiamo procedere all'integrazione dei proxy residenziali utilizzando l'API.
Per verificare che ogni richiesta effettuata venga instradata attraverso il proxy, sono disponibili varie opzioni. Una delle più elementari è un servizio di test che fornisce informazioni sull'indirizzo IP utilizzato e qualsiasi altro dettaglio sulla richiesta. Servizi come httpbin.org offrono questa possibilità.
Nel prompt dei comandi, digitate l'API salvata in precedenza e alla fine aggiungete il sito di prova che è httpbin.org. Il formato è il seguente:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip
Questo comando permetterà di inviare una richiesta a httpbin.org utilizzando il proxy. Il servizio risponderà con un oggetto JSON contenente l'indirizzo IP da cui è stata ricevuta la richiesta e altri parametri. Se la connessione è ok, la risposta sarà come:
"origin": "90.199.172.229": Questo è l'indirizzo IP utilizzato come IP in uscita per httpbin.org e dovrebbe essere l'indirizzo IP del proxy.
Oltre alla parte pratica di questo articolo, saranno utili anche alcune informazioni relative all'invio di dati tramite cURL con diversi flag.
Particolare attenzione è rivolta ai flag -d, -F e --json, ognuno dei quali ha uno scopo specifico.
Invio di dati JSON tramite proxy residenziale con -d:
Principalmente per l'invio di moduli o JSON, spesso una richiesta POST viene inviata utilizzando il flag -d o --data. Questo esempio dimostra come inviare i dati di autenticazione attraverso il proxy residenziale API, come segue:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip
Qui, -x è usato per configurare il proxy con i dati di autenticazione e -d invia le informazioni sull'utente al server.
Invio di un file attraverso un proxy residenziale con -F:
Il flag -F è usato per inviare file in formato multipart/form-data. Questo metodo è ideale per le API che richiedono il caricamento di file attraverso un proxy.
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip
Il flag -F specifica il percorso del file da inviare e -x configura il proxy per instradare la richiesta.
Invio semplificato di JSON con --json:
Il flag --json ha lo scopo di facilitare l'invio di JSON, poiché imposta automaticamente le intestazioni appropriate che descrivono la natura dei dati.
Un esempio di invio di JSON utilizzando un proxy residenziale con cURL --json è il seguente:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip
In questo caso, --json si occupa di aggiungere le intestazioni necessarie per indirizzare JSON e di inviare la richiesta attraverso il suddetto proxy a httpbin.org, che restituirà l'IP insieme alle informazioni richieste.
L'uso congiunto di cURL e dei proxy residenziali API apre un mondo di possibilità per quanto riguarda l'esecuzione di richieste in rete. La possibilità di gestire i server proxy con facilità consente agli utenti di modificare gli indirizzi IP e alcune configurazioni senza alcun intervento manuale. Questo non solo contribuisce all'automazione delle attività quotidiane, ma aumenta l'anonimato e la sicurezza delle attività legate a Internet, rendendole meno suscettibili alle minacce esterne.
Мы получили вашу заявку!
Ответ будет отправлен на почту в ближайшее время.
С уважением proxy-seller.ru!
Commenti: 0