Integracja rezydentnych serwerów proxy z Curl za pomocą narzędzi API

Komentarze: 0

cURL to narzędzie wiersza poleceń, które jest zawarte w bibliotece libcurl i służy do przesyłania danych za pomocą różnych protokołów, takich jak HTTP, HTTPS i FTP. cURL jest jednym z podstawowych składników zestawów narzędzi dla programistów, używanym w praktyce do testowania internetowych interfejsów API, pobierania plików i wykonywania innych zadań związanych z przesyłaniem danych przez Internet.

Narzędzie zapewnia również szereg funkcji, takich jak uwierzytelnianie, połączenia proxy i ustawienia SSL, które są ważne dla rozwoju sieci i systemów.

Rezydencyjne serwery proxy są przydatne do skrobania danych ze stron internetowych, które wykorzystują pewne metody związane z ochroną przed botami lub ograniczają liczbę żądań akceptowanych z jednego adresu IP. Istnieje również interfejs API dla tego typu serwerów proxy, który ułatwia łączenie serwerów proxy z innymi usługami lub aplikacjami. Obsługa API umożliwia rotację adresów IP, co minimalizuje ryzyko zablokowania, a tym samym ułatwia zarządzanie serwerem proxy.

Tutaj zademonstrujemy szczegółowo, jak utworzyć listę rezydujących serwerów proxy i dodać je do cURL za pomocą narzędzia API.

Tworzenie listy mieszkaniowych serwerów proxy

Zakupione proxy można wyświetlić w sekcji "Zamówienia" na osobistym pulpicie nawigacyjnym w sekcji "Rezydent". Aby utworzyć listę mieszkaniowych serwerów proxy i integracji API, należy wykonać kilka kroków:

  1. Ustaw nazwę dla nowej listy. Wybierz typ rotacji: Opcja "Sticky" daje możliwość utrzymania adresu IP przez najdłuższy czas, a "Rotating" pozwala systemowi na automatyczną rotację serwerów proxy. Typ autoryzacji można wybrać za pomocą nazwy użytkownika i hasła lub głównego adresu IP.

    1en.png

  2. Ustaw żądany kraj, region, miasto i szczegóły dostawcy bardziej szczegółowo w sekcji "Filtr". Linia Ports określa liczbę portów do wygenerowania, co odpowiada liczbie serwerów proxy. Nie zmieniaj, ale zachowaj domyślne opcje formatu eksportu i kliknij przycisk "Create api tools".

    2en.png

  3. Nowo utworzony klucz API będzie można znaleźć w menu "Lista proxy". Możesz skopiować linię, aby zintegrować wygenerowany klucz API w cURL i zobaczyć niezbędne dane autoryzacyjne w tej sekcji.

    3en.png

Ostatnim krokiem przed bezpośrednią pracą z cURL jest wygenerowanie klucza API. Skopiuj go i umieść w pliku tekstowym, a następnie edytuj ciąg po -x, wstawiając do niego nazwę użytkownika i hasło proxy. Wynik powinien wyglądać następująco:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Zapisz te dane do dalszej integracji. Teraz przejdźmy do konfiguracji systemu, która pozwoli nam zaangażować się w cURL.

Początek instalacji Curl

Na potrzeby tego artykułu będziemy używać systemu Windows 11, ponieważ w tych przykładach Curl jest już wbudowany w system. Jednak dla celów ilustracyjnych przyjrzyjmy się, jak zrobić to ręcznie w każdym systemie operacyjnym.

Windows

Chociaż cURL jest zawarty w standardowym zestawie narzędzi w systemie Windows 11, nie jest dostępny we wcześniejszych wersjach, takich jak Windows 10. Aby otworzyć wiersz polecenia, naciśnij kombinację klawiszy Win+R i wpisz cmd. cURL można zainstalować za pomocą menedżera pakietów WinGet z poleceniem:


winget install curl.curl

Linux

W większości dystrybucji Linuksa cURL jest dostępny za pośrednictwem standardowych menedżerów pakietów. Aby zainstalować w Ubuntu lub Debianie, użyj:


apt-get install curl

W przypadku systemów opartych na Red Hat, takich jak RHEL, CentOS lub Fedora, należy użyć programu Yellowdog Updater Modified (YUM):


yum install curl

Użytkownicy OpenSUSE mogą zainstalować cURL poprzez zypper:


zypper install curl

W Arch Linux, cURL jest instalowany przez pacman:


pacman -Sy curl

macOS

W systemie macOS cURL najlepiej zainstalować za pomocą menedżera pakietów Homebrew. Po zainstalowaniu Homebrew wykonaj polecenie:


brew install curl

Teraz, gdy cURL jest już zainstalowany w systemie operacyjnym, możemy przystąpić do integracji serwerów proxy budynków mieszkalnych przy użyciu interfejsu API.

Integracja Residential Proxies z Curl i wysyłanie żądań

Aby sprawdzić, czy każde żądanie jest kierowane przez serwer proxy, dostępne są różne opcje. Jedną z najbardziej podstawowych jest usługa testowa, która dostarcza informacji o używanym adresie IP i wszelkich dalszych szczegółach dotyczących żądania. Usługi takie jak httpbin.org zapewniają taką możliwość.

W wierszu poleceń wpisz wcześniej zapisane API, a na końcu dodaj witrynę testową, którą jest httpbin.org. Format jest następujący:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

To polecenie umożliwi wysłanie żądania do httpbin.org przy użyciu proxy. Usługa odpowie obiektem JSON zawierającym adres IP, z którego otrzymano żądanie i inne parametry. Jeśli połączenie jest w porządku, odpowiedź będzie wyglądać następująco:

4.png

"origin": "90.199.172.229": Jest to adres IP, który został użyty jako wychodzący adres IP dla httpbin.org i powinien być adresem IP serwera proxy.

Przykłady użycia flag

Jako dodatek do praktycznej części tego artykułu, przydatne będą również informacje dotyczące wysyłania danych przez cURL z różnymi flagami.

Na szczególną uwagę zasługują flagi -d, -F i --json, z których każda służy konkretnemu celowi.

Wysyłanie danych JSON przez proxy rezydentne przy użyciu -d:

Głównie do wysyłania formularzy lub JSON, często żądanie POST jest wysyłane przy użyciu flagi -d lub --data. W tym przykładzie pokazano, jak wysyłać dane uwierzytelniające za pośrednictwem rezydentnego serwera proxy API w następujący sposób:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Tutaj, -x jest używane do konfiguracji proxy z danymi uwierzytelniającymi, a -d wysyła informacje o użytkowniku do serwera.

Wysyłanie pliku przez serwer proxy przy użyciu -F:

Flaga -F jest używana do wysyłania plików w formacie multipart/form-data. Ta metoda jest idealna dla interfejsów API, które wymagają przesyłania plików za pośrednictwem serwera proxy.


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

Flaga -F określa ścieżkę do pliku, który powinien zostać wysłany, a -x konfiguruje proxy do przekierowania żądania.

Uproszczone wysyłanie JSON przy użyciu --json:

Flaga --json ma na celu łatwiejsze wysyłanie JSON, ponieważ automatycznie ustawia odpowiednie nagłówki opisujące naturę danych.

Przykład wysyłania JSON przy użyciu rezydującego proxy z cURL --json wygląda następująco:


curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

W tym przypadku --json dba o dodanie niezbędnych nagłówków w celu skierowania JSON i wysyła żądanie przez wspomniane proxy do httpbin.org, które zwróci adres IP wraz z żądanymi informacjami.

Korzystanie z cURL i serwerów proxy API residential w połączeniu otwiera świat możliwości w zakresie wykonywania żądań sieciowych. Możliwość łatwego zarządzania serwerami proxy pozwala użytkownikom na łatwą zmianę adresów IP i niektórych konfiguracji bez konieczności ręcznego wprowadzania danych. Pomaga to nie tylko w automatyzacji codziennych zadań, ale także zwiększa anonimowość i bezpieczeństwo działań związanych z Internetem, czyniąc je mniej podatnymi na zagrożenia zewnętrzne.

Komentarze:

0 komentarze