API Araçları ile Yerleşim Yeri Proxy'lerini Curl'e Entegre Etme

cURL, libcurl kütüphanesine dahil olan ve HTTP, HTTPS ve FTP gibi çeşitli protokolleri kullanarak veri aktarmak için kullanılan bir komut satırı yardımcı programıdır. cURL, web API'lerini test etmek, dosya indirmek ve İnternet ile ilgili diğer veri aktarım görevlerini gerçekleştirmek için pratikte kullanılan geliştiricilerin araç kitlerinin temel bileşenlerinden biridir.

Araç ayrıca web ve sistem geliştirme için önemli olan kimlik doğrulama, proxy bağlantıları ve SSL ayarları gibi çeşitli işlevler sağlar.

Yerleşim yeri proxy'leri, bot koruması ile ilgili bazı yöntemler kullanan veya tek bir IP adresinden kabul edilen istek miktarını sınırlayan web sayfalarından veri kazımak için kullanışlıdır. Bu tür proxy'ler için, proxy'leri diğer hizmetlere veya uygulamalara bağlamayı kolaylaştıran bir API de vardır. API için bu destek, IP'lerin rotasyonunu sağlayarak blokaj olasılığını en aza indirir ve böylece proxy'nin daha kolay yönetilmesini sağlar.

Burada, bir API aracı kullanarak konut proxy'lerinin bir listesini nasıl oluşturacağımızı ve bunları cURL'ye nasıl ekleyeceğimizi ayrıntılı olarak göstereceğiz.

Konut Vekillerinin Listesini Oluşturma

Satın alınan proxy'ler, kişisel kontrol panelinin "Yerleşik" altındaki "Siparişler" bölümünde görüntülenebilir. Konut proxy'lerinin ve API entegrasyonunun bir listesini bir araya getirmek için gerçekleştirilmesi gereken birkaç adım vardır:

1. Yeni listeniz için bir ad belirleyin. Rotasyon türünü seçin: "Yapışkan" seçeneği IP'nin en uzun süre korunmasını sağlar ve "Dönen" sistemin konut proxy'lerini otomatik olarak döndürmesine izin verir. Kullanıcı adı ve şifre ile veya ana IP adresi üzerinden yetkilendirme türü seçilebilir.

   

2. "Filtre" bölümünde istediğiniz ülke, bölge, şehir ve sağlayıcı ayrıntılarını daha dar bir şekilde ayarlayın. Ports satırı oluşturulacak port sayısını belirtir, bu da proxy sunucularının sayısına karşılık gelir. Dışa aktarma formatı için varsayılan seçenekleri değiştirmeyin ve "Api araçları oluştur" düğmesine tıklayın.

   

3. Yeni oluşturulan API anahtarı "Proxy List" menüsünde bulunacaktır. Oluşturulan API anahtarını cURL'e entegre etmek için satırı kopyalayabilir ve gerekli yetkilendirme verilerini bu bölümde görebilirsiniz.

   

Doğrudan cURL ile çalışmadan önceki son adım API anahtarını oluşturmaktır. Anahtarı kopyalayın ve bir metin dosyasına yerleştirin, ardından -x'ten sonra dizeyi düzenleyin ve içine proxy'nin kullanıcı adını ve parolasını ekleyin. Sonuç aşağıdaki gibi olmalıdır:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Bu verileri daha sonraki entegrasyon için kaydedin. Şimdi, cURL ile etkileşime girmemizi sağlayacak sistem yapılandırmasına devam edelim.

Curl Kurulumu ile Başlarken

Bu yazının amaçları doğrultusunda, Windows 11 kullanacağız, bu örneklerde Curl zaten sisteme gömülüdür. Ancak, açıklayıcı olması amacıyla, her işletim sisteminde bunun manuel olarak nasıl yapılacağına bir göz atalım.

Windows

cURL, Windows 11'de standart araç setine dahil edilmiş olsa da, Windows 10 gibi önceki sürümlerde mevcut değildir. Komut istemini açmak için Win+R tuş kombinasyonuna basın ve cmd girin. cURL, WinGet paket yöneticisi kullanılarak komutla kurulabilir:

winget install curl.curl

Linux

Çoğu Linux dağıtımında, cURL standart paket yöneticileri aracılığıyla kullanılabilir. Ubuntu veya Debian'a yüklemek için şunu kullanın:

apt-get install curl

RHEL, CentOS veya Fedora gibi Red Hat tabanlı sistemler için Yellowdog Updater Modified (YUM) kullanın:

yum install curl

OpenSUSE kullanıcıları zypper aracılığıyla cURL yükleyebilirler:

zypper install curl

Arch Linux'ta cURL, pacman aracılığıyla kurulur:

pacman -Sy curl

macOS

macOS'ta cURL en iyi Homebrew paket yöneticisi aracılığıyla yüklenir. Homebrew'u kurduktan sonra komutu çalıştırın:

brew install curl

Artık cURL işletim sistemine yüklendiğine göre, API'yi kullanarak konut proxy'lerini entegre etmeye devam edebiliriz.

Konut Proxy'lerini Curl'e Entegre Etme ve İstek Gönderme

Yapılan her isteğin proxy üzerinden yönlendirildiğini doğrulamak için çeşitli seçenekler mevcuttur. En temel olanlardan biri, kullanılan IP adresi ve istekle ilgili diğer ayrıntılar hakkında bilgi sağlayan bir test hizmetidir. Httpbin.org gibi hizmetler bu özelliği sağlar.

Komut isteminde, önceden kaydedilmiş API'yi yazın ve sonuna httpbin.org olan test sitesini ekleyin. Format aşağıdaki gibidir:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Bu komut, proxy kullanarak httpbin.org adresine bir istek göndermeyi mümkün kılacaktır. Hizmet, isteğin alındığı IP adresini ve diğer parametreleri içeren bir JSON nesnesi ile yanıt verecektir. Bağlantı tamamsa, yanıt şu şekilde olacaktır:

"origin": "90.199.172.229": Bu, httpbin.org için giden IP olarak kullanılan IP adresidir ve proxy IP adresi olması beklenir.

Bayrakları Kullanma Örnekleri

Bu makalenin pratik kısmına ek olarak, farklı bayraklarla cURL üzerinden veri gönderme ile ilgili bazı bilgiler de faydalı olacaktır.

Her biri belirli bir amaca hizmet eden -d, -F ve --json bayraklarına özel dikkat gösterilir.

JSON verilerini -d kullanarak konut proxy'si aracılığıyla gönderme:

Öncelikle form veya JSON göndermek için, Genellikle -d veya --data bayrağı kullanılarak bir POST isteği gönderilir. Bu örnekte, kimlik doğrulama verilerinin API yerleşim proxy'si aracılığıyla nasıl gönderileceği aşağıdaki gibi gösterilmektedir:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Burada, -x proxy'yi kimlik doğrulama verileriyle yapılandırmak için kullanılır ve -d kullanıcı bilgilerini sunucuya gönderir.

F kullanarak konut proxy'si aracılığıyla dosya gönderme:

F bayrağı multipart/form-data formatında dosya göndermek için kullanılır. Bu yöntem, bir proxy aracılığıyla dosya yüklemesi gerektiren API'ler için idealdir.

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

F bayrağı gönderilecek dosyanın yolunu belirtir ve -x isteği yönlendirecek proxy'yi yapılandırır.

JSON'un --json kullanılarak basitleştirilmiş gönderimi:

json bayrağı, verinin yapısını açıklayan uygun başlıkları otomatik olarak ayarladığı için JSON'un daha kolay gönderilmesini amaçlamaktadır.

cURL --json ile bir yerleşim proxy'si kullanarak JSON göndermenin bir örneği aşağıdaki gibidir:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Bu durumda, --json JSON'u hedeflemek için gerekli başlıkları eklemeye özen gösterir ve isteği söz konusu proxy aracılığıyla httpbin.org'a gönderir, bu da istenen bilgilerle birlikte IP'yi döndürür.

cURL ve API yerleşim proxy'lerini birlikte kullanmak, ağ isteklerini gerçekleştirme konusunda bir olasılıklar dünyasının kapılarını açar. Proxy sunucularının kolaylıkla yönetilebilmesi, kullanıcıların IP adreslerini ve belirli konfigürasyonları herhangi bir manuel girdi olmadan kolayca değiştirebilmelerini sağlar. Bu sadece günlük işlerin otomasyonuna yardımcı olmakla kalmaz, aynı zamanda internetle ilgili faaliyetlerin anonimliğini ve güvenliğini artırarak onları dış tehditlere karşı daha az duyarlı hale getirir.