Інтеграція резидентських проксі в Curl за допомогою API Tools

Коментарі: 0

Curl - командна утиліта і бібліотека libcurl для передавання даних з використанням різних протоколів, таких як HTTP, HTTPS, FTP. Інструмент широко використовується розробниками для тестування веб-API, завантаження файлів і багатьох інших завдань, пов'язаних з передачею даних через інтернет.

Curl підтримує велику кількість функцій, включно з автентифікацією, під'єднанням через проксі, SSL-з'єднаннями та багатьом іншим, що робить його невід'ємним інструментом для веб-розробки та системного адміністрування.

Що стосується резидентських проксі, то вони ідеально підходять для скрапінгу даних з веб-сайтів, які мають захист від ботів або обмеження за кількістю запитів з однієї айпі-адреси. Для зручності роботи зі списками проксі існує API для їх інтеграції. За допомогою API можна легко під'єднувати проксі до сторонніх сервісів або програм, забезпечуючи динамічну зміну адрес, що мінімізує ризик блокування і спрощує управління проксі.

У цій статті ми детально розглянемо процес створення листа резидентських проксі та його подальшу інтеграцію в Curl за допомогою API інструменту.

Створення листа резидентських проксі

Після придбання резидентські проксі знаходяться в особистому кабінеті в розділі "Мої замовлення" в підпункті "Resident". Для створення списку резидентських проксі та налаштування їх використання через API необхідно виконати кілька дій:

  1. Задайте назву списку. Виберіть тип ротації: "Sticky" дає змогу утримувати IP-адресу максимально можливий час, а "Динамічні" активують автоматичну ротацію резидентських проксі. Тип авторизації можна вибрати як за логіном і паролем, так і за основним IP.

    1.png

  2. У розділі "Фільтр" встановлюємо країну, регіон, місто і провайдера, якщо необхідна максимально точна вибірка. Останній рядок відповідає за кількість портів, яку буде згенеровано, що відповідає кількості проксі-серверів. Формат вивантаження залишаємо за замовчуванням і натискаємо "Створити API-tools".

    2.png

  3. Створений ключ API відобразиться в розділі "Список проксі". Тут можна скопіювати рядок для інтеграції в Curl, а також спостерігати авторизаційні дані.

    3.png

Останній етап перед інтеграцією безпосередньо з самим Curl полягає в підготовці API ключа. Скопіюйте його і вставте в будь-який текстовий редактор, потім замініть символи після -x на логін і пароль від проксі. Виглядати це в кінцевому підсумку буде так:


curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Збережіть цей рядок, і тепер перейдемо безпосередньо до встановлення Curl на систему.

Встановлення Curl

У цій статті для наочного прикладу буде використано Windows 11, де Curl попередньо встановлено, однак як демонстрацію розглянемо, як це зробити для кожної OS у ручному режимі.

Windows

Незважаючи на те, що в Windows 11 Curl входить до стандартного набору програм, на більш ранніх версіях, наприклад Windows 10, він недоступний. Щоб відкрити командний рядок, натисніть поєднання клавіш Win+R і введіть cmd. Встановити Curl можна за допомогою менеджера пакетів WinGet командою:


winget install curl.curl

Linux

У більшості дистрибутивів Linux Curl доступний через стандартні менеджери пакетів. Для встановлення в Ubuntu або Debian використовуйте:


apt-get install curl

Для систем на базі Red Hat, таких як RHEL, CentOS або Fedora, використовуйте Yellowdog Updater Modified (YUM):


yum install curl

Користувачі OpenSUSE можуть встановити Curl через zypper:


zypper install curl

В Arch Linux Curl встановлюється через pacman:


pacman -Sy curl

macOS

На macOS Curl найкраще встановити через менеджер пакетів Homebrew. Після встановлення Homebrew виконайте команду:


brew install curl

Тепер, коли Curl встановлено на операційній системі, можна розпочати інтеграцію резидентських проксі за допомогою API.

Інтеграція резидентських проксі в Curl і надсилання запиту

Для перевірки, що запити дійсно надсилаються через проксі, можна використовувати кілька методів. Один із найпростіших - тестовий сервіс, який відображає інформацію про вашу IP-адресу та інші деталі запиту. Сервіси, такі як httpbin.org, надають таку можливість.

Запустіть командний рядок, введіть API, який зберегли раніше, і додайте в кінці тестовий сайт httpbin.org. Виглядати це буде ось таким чином:


curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Ця команда надішле запит на httpbin.org через проксі. Сервіс поверне JSON-об'єкт, що містить IP-адресу, з якої він отримав запит та інші дані. У разі успішного з'єднання відповідь буде такою:

4.png

"origin": "90.199.172.229": У тілі відповіді вказано IP-адресу, яку видно як вихідний IP для httpbin.org. Цей IP має відповідати IP-адресі проксі.

Приклади використання прапорів

На додачу до практичної частини статті додамо трохи корисної інформації щодо надсилання даних за допомогою Curl з використанням різних прапорів.

Особливу увагу приділимо флагам -d, -F, і --json, кожен з яких служить певній меті.

Надсилання JSON даних через резидентський проксі з використанням -d

Прапор -d або --data дає змогу надіслати дані в тілі POST-запиту, часто використовується для надсилання форм або JSON. Цей приклад демонструє, як надіслати дані аутентифікації у форматі JSON через API з резидентським проксі:


curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Тут -x використовується для налаштування проксі з аутентифікаційними даними, а -d надсилає інформацію користувача на сервер.

Надсилання файлу через резидентський проксі з використанням -F

Прапор -F використовується для надсилання файлів у форматі multipart/form-data. Цей метод ідеальний для API, які вимагають завантаження файлів через проксі.


curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

Прапор -F вказує шлях до файлу, який має бути надіслано, а -x налаштовує проксі для маршрутизації запиту.

Спрощене надсилання JSON з використанням --json

Прапор --json призначений для спрощення надсилання JSON даних, автоматично встановлюючи потрібні заголовки.

Приклад надсилання JSON через резидентський проксі з використанням --json:


curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Тут --json автоматично встановлює необхідні заголовки для JSON, і запит надсилається через налаштований проксі на httpbin.org, який відображає IP-адресу та інші дані запиту.

Інтеграція API резидентських проксі з Curl значно розширює можливості роботи з мережевими запитами. Вона забезпечує гнучкість керування проксі-серверами, даючи змогу оперативно змінювати IP-адреси та налаштування без ручного введення. Це не тільки спрощує автоматизацію повсякденних завдань, а й підвищує анонімність і безпеку інтернет-операцій, роблячи їх менш уразливими для зовнішніх загроз.

Коментарії:

0 Коментаріїв