Mengintegrasikan Proksi Hunian ke dalam Curl melalui Alat API

cURL adalah utilitas baris perintah yang disertakan dalam pustaka libcurl dan digunakan untuk mentransfer data dengan menggunakan berbagai protokol seperti HTTP, HTTPS, dan FTP. cURL adalah salah satu komponen dasar dari kit alat pengembang, yang digunakan dalam praktik untuk menguji API web, mengunduh file, dan melakukan tugas transfer data terkait Internet lainnya.

Alat ini juga menyediakan berbagai fungsi seperti otentikasi, koneksi proxy, dan pengaturan SSL, yang penting untuk pengembangan web dan sistem.

Proksi residensial berguna untuk mengikis data dari halaman web yang menggunakan beberapa metode yang relevan dengan perlindungan bot atau membatasi jumlah permintaan yang diterima dari satu alamat IP. Ada juga API untuk jenis proksi ini, yang membuatnya lebih mudah untuk menghubungkan proksi ke layanan atau aplikasi lain. Dukungan untuk API ini memungkinkan rotasi IP yang meminimalkan kemungkinan pemblokiran, sehingga memudahkan pengelolaan proksi.

Di sini kami akan mendemonstrasikan secara rinci cara membuat daftar proxy perumahan dan menambahkannya ke cURL menggunakan alat API.

Membuat Daftar Proksi Perumahan

Proksi yang dibeli dapat dilihat di bagian "Pesanan" pada dasbor pribadi di bawah "Penduduk". Untuk menyusun daftar proxy residensial dan integrasi API, ada beberapa langkah yang perlu dilakukan:

1. Tentukan nama untuk daftar baru Anda. Pilih jenis rotasi: Opsi "Sticky" memberikan kemampuan untuk mempertahankan IP untuk waktu yang lama, dan "Rotating" mengizinkan sistem untuk merotasi proxy perumahan secara otomatis. Baik dengan nama pengguna dan kata sandi atau melalui alamat IP utama, jenis otorisasi dapat dipilih.

   

2. Tetapkan negara, wilayah, kota, dan detail penyedia yang diinginkan secara lebih sempit di bagian "Filter". Baris Ports menentukan jumlah port yang akan dibuat, yang sesuai dengan jumlah server proxy. Jangan ubah tetapi tetap gunakan opsi default untuk format ekspor dan klik tombol "Buat alat api".

   

3. Kunci API yang baru dibuat akan ditemukan di menu "Daftar Proksi". Anda dapat menyalin baris untuk mengintegrasikan kunci API yang dibuat dalam cURL dan melihat data otorisasi yang diperlukan di bagian ini.

   

Langkah terakhir sebelum langsung bekerja dengan cURL adalah membuat kunci API. Salin dan letakkan di dalam berkas teks, lalu edit string setelah -x, masukkan nama pengguna dan kata sandi proksi. Hasilnya akan menjadi seperti berikut:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Simpan data ini untuk integrasi lebih lanjut. Sekarang, mari kita lanjutkan dengan konfigurasi sistem yang memungkinkan kita untuk terlibat dengan cURL.

Memulai Dengan Instalasi Curl

Untuk keperluan tulisan ini, kita akan menggunakan Windows 11, contoh-contoh ini memiliki Curl yang sudah tertanam ke dalam sistem. Namun, untuk tujuan ilustrasi, mari kita lihat bagaimana cara melakukannya secara manual pada setiap OS.

Windows

Meskipun cURL termasuk dalam seperangkat alat standar di Windows 11, namun tidak tersedia di versi sebelumnya, seperti Windows 10. Untuk membuka prompt perintah, tekan kombinasi tombol Win+R dan masukkan cmd. cURL dapat diinstal menggunakan manajer paket WinGet dengan perintah:

winget install curl.curl

Linux

Pada sebagian besar distribusi Linux, cURL tersedia melalui manajer paket standar. Untuk menginstal di Ubuntu atau Debian, gunakan:

apt-get install curl

Untuk sistem berbasis Red Hat seperti RHEL, CentOS, atau Fedora, gunakan Yellowdog Updater Modified (YUM):

yum install curl

Pengguna OpenSUSE dapat menginstal cURL melalui zypper:

zypper install curl

Pada Arch Linux, cURL diinstal melalui pacman:

pacman -Sy curl

macOS

Di macOS, cURL paling baik dipasang melalui manajer paket Homebrew. Setelah menginstal Homebrew, jalankan perintah:

brew install curl

Setelah cURL terinstal di sistem operasi, kita dapat melanjutkan untuk mengintegrasikan proksi residensial menggunakan API.

Mengintegrasikan Proksi Residensial ke dalam Curl dan Mengirimkan Permintaan

Untuk memverifikasi bahwa setiap permintaan yang dibuat telah dirutekan melalui proksi, tersedia berbagai opsi. Salah satu yang paling dasar adalah layanan pengujian yang menyediakan informasi tentang alamat IP yang digunakan dan rincian lebih lanjut tentang permintaan. Layanan seperti httpbin.org menyediakan kemampuan ini.

Pada prompt perintah, ketik API yang telah disimpan sebelumnya dan di bagian akhir tambahkan situs uji yaitu httpbin.org. Formatnya adalah sebagai berikut:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Perintah ini akan memungkinkan untuk mengirim permintaan ke httpbin.org menggunakan proxy. Layanan ini akan merespons dengan objek JSON yang berisi alamat IP dari mana permintaan diterima dan parameter lainnya. Jika koneksi baik-baik saja, responsnya akan seperti ini:

"origin": "90.199.172.229": Ini adalah alamat IP yang telah digunakan sebagai IP keluar untuk httpbin.org dan diharapkan menjadi alamat IP proxy.

Menggunakan Contoh Bendera

Selain bagian praktis dari artikel ini, beberapa informasi mengenai pengiriman data melalui cURL dengan flag yang berbeda juga akan berguna.

Perhatian khusus diberikan pada flag -d, -F, dan --json, yang masing-masing memiliki tujuan tertentu.

Mengirim data JSON melalui proxy perumahan menggunakan -d:

Terutama untuk mengirim formulir atau JSON, sering kali permintaan POST dikirim menggunakan flag -d atau --data. Contoh ini menunjukkan cara mengirim data otentikasi melalui proxy residensial API sebagai berikut:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Di sini, -x digunakan untuk mengonfigurasi proxy dengan data autentikasi, dan -d mengirimkan informasi pengguna ke server.

Mengirim file melalui proxy residensial menggunakan -F:

Bendera -F digunakan untuk mengirim file dalam format data multi-bagian/format. Metode ini ideal untuk API yang memerlukan unggahan file melalui proxy.

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

Bendera -F menentukan jalur ke file yang harus dikirim, dan -x mengonfigurasi proxy untuk merutekan permintaan.

Pengiriman JSON yang disederhanakan dengan menggunakan --json:

Bendera --json ditujukan untuk memudahkan pengiriman JSON karena bendera ini menetapkan header yang sesuai yang menggambarkan sifat data secara otomatis.

Contoh pengiriman JSON menggunakan proxy residensial dengan cURL --json adalah sebagai berikut:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Dalam kasus ini, --json menangani penambahan header yang diperlukan untuk menargetkan JSON dan mengirimkan permintaan melalui proksi tersebut ke httpbin.org yang akan mengembalikan IP beserta informasi yang diminta.

Menggunakan proxy perumahan cURL dan API secara bersamaan membuka banyak sekali kemungkinan dalam melakukan permintaan jaringan. Kemampuan untuk mengelola server proxy dengan mudah memungkinkan pengguna untuk mengubah alamat IP dan konfigurasi tertentu dengan mudah tanpa input manual. Hal ini tidak hanya membantu dalam otomatisasi tugas sehari-hari tetapi juga meningkatkan anonimitas dan keamanan aktivitas yang berhubungan dengan internet, sehingga tidak terlalu rentan terhadap ancaman eksternal.