Tóm lại, proxy là các máy chủ đóng vai trò là lớp bên ngoài kết nối với các dịch vụ mạng. Họ đóng vai trò là người trung gian cho một máy tính và trang web mà người dùng muốn trích xuất thông tin từ. Yêu cầu của người dùng, thay vì được gửi trực tiếp đến trang web có liên quan, trước tiên được hướng đến proxy, sau đó gửi nó đến máy chủ cuối. Do đó, địa chỉ IP của máy chủ proxy là địa chỉ mà trang web lưu thay vì người dùng.
Vậy, tại sao sử dụng proxy?
Chẳng hạn, nếu có nhu cầu thu thập thông tin từ một trang web mà không sợ các hạn chế hoặc khối. Một proxy giúp che giấu địa chỉ IP của người dùng thực sự thay đổi danh tính kỹ thuật số thực sự của họ.
Một proxy từ một quốc gia cụ thể, nơi không có hạn chế nào có thể được sử dụng. Điều này là do, ở một số quốc gia nhất định, quyền truy cập vào một số chương trình và trang web bị hạn chế hoặc bị chặn.
Nếu một số lượng lớn các yêu cầu được gửi đến một trang web cụ thể, rất có thể hệ thống sẽ được tải. Do đó, có một rủi ro rất lớn bị chặn. Sử dụng nhiều proxy cùng một lúc cho phép người dùng phân phối đều các yêu cầu đến trang web cụ thể, do đó tránh bị tắc nghẽn.
Yêu cầu là thư viện để gửi các yêu cầu HTTP bằng Python. Nó làm cho nó đơn giản để thực hiện và đăng yêu cầu. Sử dụng các Python Requests không có proxy có thể gửi các yêu cầu HTTP, nhưng nó không cung cấp các hạn chế ẩn danh hoặc bỏ qua các hạn chế.
Để cài đặt các Requests, chỉ cần nhập lệnh bên dưới vào thiết bị đầu cuối:
PHP
Node.js
Python
Java
Golang
vn 
English 
Español 
中國人 
Deutsch 
Українська 
Português 
Français 
भारतीय 
Türkçe 
한국인 
Italiano 
Gaeilge 
اردو 
Indonesia 
Polski
pip install requests
Để xác minh rằng thư viện cần thiết được thiết lập đúng, bạn cần mở môi trường phát triển Python và chạy lệnh:
import requests
print(requests.__version__)
Nếu mọi thứ được thực hiện đúng, tập lệnh sẽ trả về số phiên bản.
Khi chúng tôi cài đặt thư viện yêu cầu, chúng tôi có thể bắt đầu thực hiện các yêu cầu HTTP. Tuy nhiên, để kết hợp một proxy, một số cấu hình nhất định trong Python phải được thực hiện.
Hãy để chúng tôi kiểm tra các bước cần tuân theo để định cấu hình proxy chính xác cho các yêu cầu trong Python. Chúng tôi sẽ xem xét các yêu cầu của Python với các cấu hình proxy tất riêng biệt.
Sử dụng Python để thiết lập proxy rất dễ dàng cho người dùng sử dụng thư viện yêu cầu. Nó yêu cầu địa chỉ máy chủ proxy được truyền trong từ điển và sau đó được sử dụng khi thực hiện các yêu cầu HTTP.
proxies = {
"http": "http://your-proxy-ip:port",
"https": "http://your-proxy-ip:port",
}
response = requests.get("http://example.com", proxies=proxies)
Khi sử dụng các Python Requests, xác thực proxy rất dễ thiết lập. Hãy xem xét kỹ hơn các chi tiết.
proxies = {
"http": "http://username:password@your-proxy-ip:port",
"https": "http://username:password@your-proxy-ip:port",
}
response = requests.get("http://example.com", proxies=proxies)
Hai lĩnh vực mới cần được điền vào là:
Đối với người dùng yêu cầu mức độ ẩn danh cao hơn hoặc nếu bạn đang làm việc với các trang web bị hạn chế nhiều, các proxy HTTP tiêu chuẩn có thể không hoạt động. Trong trường hợp này, các proxy SOCKS có thể tốt hơn.
Để bật hỗ trợ proxy SOCKS, một thư viện bổ sung cần được cài đặt bằng lệnh được liệt kê dưới đây:
pip install requests[socks]
Khi nó đã được cài đặt, các yêu cầu của Python cho phép bạn thiết lập proxy vớ có thể được sử dụng như trong ví dụ dưới đây.
import requests
proxies = {
"http": "socks5h://your-proxy-ip:port",
"https": "socks5h://your-proxy-ip:port",
}
response = requests.get("http://example.com", proxies=proxies)
Nếu máy chủ proxy cần xác thực, hãy bao gồm chúng như hình dưới đây.
proxies = {
"http": "socks5h://username:password@your-proxy-ip:port",
"https": "socks5h://username:password@your-proxy-ip:port",
}
Khi thực hiện nhiều yêu cầu thông qua một proxy duy nhất, thay vì thêm nó vào mỗi yêu cầu, việc sử dụng các phiên Python Requests có proxy sẽ trở nên hiệu quả hơn nhiều.
Phương pháp sử dụng proxy này giúp duy trì cài đặt trên tất cả các phiên. Nó cũng đơn giản hóa mã, cải thiện hiệu suất và quan trọng nhất, làm cho việc triển khai dễ dàng hơn nhiều.
Nó rất dễ dàng để tạo một phiên, chỉ cần nhập requests.Session().
Xem xét ví dụ sau:
import requests
# Tạo một phiên
session = requests.Session()
session.proxies = {
"http": "http://username:password@your-proxy-ip:port",
"https": "http://username:password@your-proxy-ip:port",
}
# Yêu cầu qua phiên
response = session.get("http://example.com")
Tất cả các Python Requests trong phiên này sẽ sử dụng proxy đặt theo mặc định mà không cần bất kỳ cấu hình bổ sung nào.
Khi bạn đang tích cực tham gia với một trang web cho mục đích cạo hoặc để tự động hóa, sử dụng cùng một proxy nhiều lần có thể bị chặn tài khoản của bạn. Điều này có thể quản lý được bằng cách xoay các proxy cung cấp cho bạn có một vài máy chủ proxy khác nhau.
Ví dụ sau đây cho thấy việc triển khai một vòng lặp xoay proxy cho mỗi tương tác với trang web:
import requests
import random
proxies_list = [
"http://username:password@your-proxy-ip[1]:port",
"http://username:password@your-proxy-ip[2]:port",
"http://username:password@your-proxy-ip[3]:port",
]
session = requests.Session()
for _ in range(5):
proxy = random.choice(proxies_list) # Chọn ngẫu nhiên một proxy
session.proxies = {"http": proxy, "https": proxy}
response = session.get("http://example.com")
print(f"Used proxy: {proxy}")
print(response.status_code)
Để tổng hợp, đây là một số gợi ý có thể giúp bạn quản lý proxy tốt hơn:
Trong bài viết này, chúng tôi đã chạm vào các máy chủ proxy là gì, cách sử dụng proxy trong các Python Requests đúng cách và quản lý các proxy thông qua các phiên để đơn giản hóa mã. Ví dụ cũng cho thấy việc sử dụng cả tất và proxy thông thường, cách xử lý xác thực và quản lý proxy.
Bình luận: 0