cURL to narzędzie wiersza poleceń, które jest zawarte w bibliotece libcurl i służy do przesyłania danych za pomocą różnych protokołów, takich jak HTTP, HTTPS i FTP. cURL jest jednym z podstawowych składników zestawów narzędzi dla programistów, używanym w praktyce do testowania internetowych interfejsów API, pobierania plików i wykonywania innych zadań związanych z przesyłaniem danych przez Internet.
Narzędzie zapewnia również szereg funkcji, takich jak uwierzytelnianie, połączenia proxy i ustawienia SSL, które są ważne dla rozwoju sieci i systemów.
Rezydencyjne serwery proxy są przydatne do skrobania danych ze stron internetowych, które wykorzystują pewne metody związane z ochroną przed botami lub ograniczają liczbę żądań akceptowanych z jednego adresu IP. Istnieje również interfejs API dla tego typu serwerów proxy, który ułatwia łączenie serwerów proxy z innymi usługami lub aplikacjami. Obsługa API umożliwia rotację adresów IP, co minimalizuje ryzyko zablokowania, a tym samym ułatwia zarządzanie serwerem proxy.
Tutaj zademonstrujemy szczegółowo, jak utworzyć listę rezydujących serwerów proxy i dodać je do cURL za pomocą narzędzia API.
Zakupione proxy można wyświetlić w sekcji "Zamówienia" na osobistym pulpicie nawigacyjnym w sekcji "Rezydent". Aby utworzyć listę mieszkaniowych serwerów proxy i integracji API, należy wykonać kilka kroków:
Ostatnim krokiem przed bezpośrednią pracą z cURL jest wygenerowanie klucza API. Skopiuj go i umieść w pliku tekstowym, a następnie edytuj ciąg po -x, wstawiając do niego nazwę użytkownika i hasło proxy. Wynik powinien wyglądać następująco:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com
Zapisz te dane do dalszej integracji. Teraz przejdźmy do konfiguracji systemu, która pozwoli nam zaangażować się w cURL.
Na potrzeby tego artykułu będziemy używać systemu Windows 11, ponieważ w tych przykładach Curl jest już wbudowany w system. Jednak dla celów ilustracyjnych przyjrzyjmy się, jak zrobić to ręcznie w każdym systemie operacyjnym.
Chociaż cURL jest zawarty w standardowym zestawie narzędzi w systemie Windows 11, nie jest dostępny we wcześniejszych wersjach, takich jak Windows 10. Aby otworzyć wiersz polecenia, naciśnij kombinację klawiszy Win+R i wpisz cmd. cURL można zainstalować za pomocą menedżera pakietów WinGet z poleceniem:
winget install curl.curl
W większości dystrybucji Linuksa cURL jest dostępny za pośrednictwem standardowych menedżerów pakietów. Aby zainstalować w Ubuntu lub Debianie, użyj:
apt-get install curl
W przypadku systemów opartych na Red Hat, takich jak RHEL, CentOS lub Fedora, należy użyć programu Yellowdog Updater Modified (YUM):
yum install curl
Użytkownicy OpenSUSE mogą zainstalować cURL poprzez zypper:
zypper install curl
W Arch Linux, cURL jest instalowany przez pacman:
pacman -Sy curl
W systemie macOS cURL najlepiej zainstalować za pomocą menedżera pakietów Homebrew. Po zainstalowaniu Homebrew wykonaj polecenie:
brew install curl
Teraz, gdy cURL jest już zainstalowany w systemie operacyjnym, możemy przystąpić do integracji serwerów proxy budynków mieszkalnych przy użyciu interfejsu API.
Aby sprawdzić, czy każde żądanie jest kierowane przez serwer proxy, dostępne są różne opcje. Jedną z najbardziej podstawowych jest usługa testowa, która dostarcza informacji o używanym adresie IP i wszelkich dalszych szczegółach dotyczących żądania. Usługi takie jak httpbin.org zapewniają taką możliwość.
W wierszu poleceń wpisz wcześniej zapisane API, a na końcu dodaj witrynę testową, którą jest httpbin.org. Format jest następujący:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip
To polecenie umożliwi wysłanie żądania do httpbin.org przy użyciu proxy. Usługa odpowie obiektem JSON zawierającym adres IP, z którego otrzymano żądanie i inne parametry. Jeśli połączenie jest w porządku, odpowiedź będzie wyglądać następująco:
"origin": "90.199.172.229": Jest to adres IP, który został użyty jako wychodzący adres IP dla httpbin.org i powinien być adresem IP serwera proxy.
Jako dodatek do praktycznej części tego artykułu, przydatne będą również informacje dotyczące wysyłania danych przez cURL z różnymi flagami.
Na szczególną uwagę zasługują flagi -d, -F i --json, z których każda służy konkretnemu celowi.
Wysyłanie danych JSON przez proxy rezydentne przy użyciu -d:
Głównie do wysyłania formularzy lub JSON, często żądanie POST jest wysyłane przy użyciu flagi -d lub --data. W tym przykładzie pokazano, jak wysyłać dane uwierzytelniające za pośrednictwem rezydentnego serwera proxy API w następujący sposób:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip
Tutaj, -x jest używane do konfiguracji proxy z danymi uwierzytelniającymi, a -d wysyła informacje o użytkowniku do serwera.
Wysyłanie pliku przez serwer proxy przy użyciu -F:
Flaga -F jest używana do wysyłania plików w formacie multipart/form-data. Ta metoda jest idealna dla interfejsów API, które wymagają przesyłania plików za pośrednictwem serwera proxy.
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip
Flaga -F określa ścieżkę do pliku, który powinien zostać wysłany, a -x konfiguruje proxy do przekierowania żądania.
Uproszczone wysyłanie JSON przy użyciu --json:
Flaga --json ma na celu łatwiejsze wysyłanie JSON, ponieważ automatycznie ustawia odpowiednie nagłówki opisujące naturę danych.
Przykład wysyłania JSON przy użyciu rezydującego proxy z cURL --json wygląda następująco:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip
W tym przypadku --json dba o dodanie niezbędnych nagłówków w celu skierowania JSON i wysyła żądanie przez wspomniane proxy do httpbin.org, które zwróci adres IP wraz z żądanymi informacjami.
Korzystanie z cURL i serwerów proxy API residential w połączeniu otwiera świat możliwości w zakresie wykonywania żądań sieciowych. Możliwość łatwego zarządzania serwerami proxy pozwala użytkownikom na łatwą zmianę adresów IP i niektórych konfiguracji bez konieczności ręcznego wprowadzania danych. Pomaga to nie tylko w automatyzacji codziennych zadań, ale także zwiększa anonimowość i bezpieczeństwo działań związanych z Internetem, czyniąc je mniej podatnymi na zagrożenia zewnętrzne.
Komentarze: 0