Curl là một tiện ích dòng lệnh được bao gồm trong thư viện libcurl và được sử dụng để chuyển dữ liệu với việc sử dụng các giao thức khác nhau như HTTP, HTTPS và FTP. Curl là một trong những thành phần cơ bản của bộ dụng cụ công cụ của nhà phát triển, được sử dụng trong thực tế để kiểm tra API Web, tải xuống các tệp và thực hiện các tác vụ truyền dữ liệu liên quan đến Internet khác.
Công cụ này cũng cung cấp một loạt các chức năng như xác thực, kết nối proxy và cài đặt SSL, rất quan trọng cho phát triển web và hệ thống.
Các proxy dân cư rất hữu ích cho việc cạo dữ liệu từ các trang web sử dụng một số phương thức liên quan đến bảo vệ bot hoặc giới hạn số lượng yêu cầu được chấp nhận từ một địa chỉ IP. Ngoài ra còn có API cho các loại proxy này, giúp kết nối proxy với các dịch vụ hoặc ứng dụng khác dễ dàng hơn. Hỗ trợ này cho API cho phép xoay IPS nhằm giảm thiểu cơ hội tắc nghẽn, do đó dễ dàng quản lý proxy dễ dàng hơn.
Ở đây chúng tôi sẽ trình bày chi tiết cách tạo một danh sách các proxy dân cư và thêm chúng vào Curl bằng công cụ API.
Các proxy đã mua có thể được xem trong phần Đơn đặt hàng trên mạng của bảng điều khiển cá nhân dưới thời điểm cư dân. Để tập hợp một danh sách các proxy dân cư và tích hợp API, có một vài bước cần được thực hiện:
Bước cuối cùng trước khi trực tiếp làm việc với Curl là tạo khóa API. Sao chép nó và đặt nó vào một tệp văn bản, sau đó chỉnh sửa chuỗi sau -x, chèn vào tên người dùng và mật khẩu của proxy. Kết quả nên như sau:
PHP
Node.js
Python
Java
Golang
vn 
English 
Español 
中國人 
Deutsch 
Українська 
Português 
Français 
भारतीय 
Türkçe 
한국인 
Italiano 
Gaeilge 
اردو 
Indonesia 
Polski
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com
Lưu dữ liệu này để tích hợp thêm. Bây giờ, hãy để tiến hành cấu hình hệ thống cho phép chúng tôi tham gia vào Curl.
Đối với các mục đích của việc viết lên này, chúng tôi sẽ sử dụng Windows 11, các ví dụ này đã được nhúng vào hệ thống. Tuy nhiên, với mục đích minh họa, hãy để Lôi xem cách thực hiện điều này bằng tay trên mọi hệ điều hành.
Mặc dù Curl được bao gồm trong bộ công cụ tiêu chuẩn trong Windows 11, nhưng nó không có sẵn trong các phiên bản trước, chẳng hạn như Windows 10. Để mở dấu nhắc lệnh, nhấn kết hợp khóa Win+R và nhập CMD. Curl có thể được cài đặt bằng Winget trình quản lý gói với lệnh:
winget install curl.curl
Trong hầu hết các bản phân phối Linux, Curl có sẵn thông qua các nhà quản lý gói tiêu chuẩn. Để cài đặt trong Ubuntu hoặc Debian, hãy sử dụng:
apt-get install curl
Đối với các hệ thống dựa trên Hat Hat như Rhel, Centos hoặc Fedora, hãy sử dụng Updater Updater sửa đổi (YUM): YUM):
yum install curl
Người dùng OpenSuse có thể cài đặt Curl thông qua Zypper:
zypper install curl
Trong Arch Linux, Curl được cài đặt qua Pacman:
pacman -Sy curl
Trên macOS, Curl được cài đặt tốt nhất thông qua Trình quản lý gói Homebrew. Sau khi cài đặt homebrew, thực hiện lệnh:
brew install curl
Bây giờ Curl được cài đặt trên hệ điều hành, chúng ta có thể tiến hành tích hợp các proxy dân cư bằng API.
Để xác minh rằng mọi yêu cầu được thực hiện đang được định tuyến thông qua proxy, các tùy chọn khác nhau có sẵn. Một trong những cơ bản nhất là một dịch vụ kiểm tra cung cấp thông tin về địa chỉ IP được sử dụng và bất kỳ chi tiết nào khác về yêu cầu. Các dịch vụ như httpbin.org cung cấp khả năng này.
Trong dấu nhắc lệnh, nhập API đã lưu trước đó và ở cuối, hãy thêm trang web kiểm tra là httpbin.org. Định dạng như sau:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip
Lệnh này sẽ cho phép gửi yêu cầu đến httpbin.org bằng proxy. Dịch vụ sẽ trả lời với một đối tượng JSON chứa địa chỉ IP mà từ đó nhận được yêu cầu và các tham số khác. Nếu kết nối ổn, phản hồi sẽ diễn ra như:
"origin": "90.199.172.229": Đây là địa chỉ IP đã được sử dụng làm IP gửi cho httpbin.org và sẽ được dự kiến là địa chỉ IP proxy.
Ngoài phần thực tế của bài viết này, cũng hữu ích sẽ là một số thông tin liên quan đến dữ liệu gửi qua Curl với các cờ khác nhau.
Sự chú ý đặc biệt được trả cho các cờ -D, -F và --JSON, mỗi người phục vụ một mục đích cụ thể.
Gửi dữ liệu JSON thông qua proxy dân cư bằng cách sử dụng -D:
Chủ yếu để gửi biểu mẫu hoặc JSON, thường là một yêu cầu bài đăng được gửi bằng cờ -D hoặc - -Data. Ví dụ này cho thấy cách gửi dữ liệu xác thực thông qua với proxy dân cư API như sau:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip
Ở đây, -x được sử dụng để định cấu hình proxy với dữ liệu xác thực và -d gửi thông tin người dùng đến máy chủ.
Gửi một tập tin thông qua proxy dân cư bằng cách sử dụng -f:
Cờ -F được sử dụng để gửi các tệp ở định dạng đa dạng/hình thức. Phương pháp này là lý tưởng cho các API yêu cầu tải lên tệp thông qua proxy.
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip
Cờ -F chỉ định đường dẫn đến tệp sẽ được gửi và -X định cấu hình proxy để định tuyến yêu cầu.
Đơn giản hóa gửi JSON bằng cách sử dụng --JSON:
Cờ --JSON nhằm mục đích gửi JSON dễ dàng hơn vì nó đặt các tiêu đề thích hợp tự động mô tả bản chất của dữ liệu.
Một ví dụ về việc gửi JSON bằng cách sử dụng proxy dân cư với Curl --Json như sau:
curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip
Trong trường hợp này, --Json chăm sóc việc thêm các tiêu đề cần thiết để nhắm mục tiêu JSON và gửi yêu cầu thông qua proxy nói trên httpbin.org sẽ trả về IP cùng với thông tin được yêu cầu.
Sử dụng các proxy dân cư Curl và API kết hợp mở ra một thế giới khả năng liên quan đến việc thực hiện các yêu cầu mạng. Khả năng quản lý các máy chủ proxy một cách dễ dàng cho phép người dùng thay đổi địa chỉ IP và cấu hình nhất định dễ dàng mà không cần bất kỳ đầu vào thủ công nào. Điều này không chỉ hỗ trợ trong việc tự động hóa các tác vụ hàng ngày mà còn tăng tính ẩn danh và bảo mật của các hoạt động liên quan đến Internet, khiến chúng ít bị các mối đe dọa bên ngoài.
Bình luận: 0