CloudScraper là một mô-đun dùng để tự động hóa các yêu cầu HTTP và tương tác với các tài nguyên web có áp dụng xác minh lưu lượng truy cập bổ sung, chẳng hạn như Cloudflare. Proxy CloudScraper giúp quản lý kết nối, thiết lập các tham số mạng cho yêu cầu và duy trì khả năng truy cập ổn định trên các trang web kiểm tra IP, tiêu đề và hành vi người dùng.
CloudScraper được viết bằng Python và xây dựng dựa trên thư viện requests. Không giống như một HTTP client cơ bản, nó có thể tự động xử lý các trang thử thách có JavaScript bằng cách mô phỏng hành vi của trình duyệt. Mô-đun này thêm các tiêu đề cần thiết, quản lý cookie, theo dõi chuyển hướng và có thể xử lý các cơ chế bảo vệ phổ biến – miễn là không liên quan đến CAPTCHA.
Trên thực tế, các nhà phát triển thường sử dụng nó như một API web scraping để đơn giản hóa quy trình trích xuất dữ liệu đồng thời giảm nguy cơ bị cấm IP.
Việc sử dụng CloudScraper proxy cho phép bạn:
Thư viện hoạt động mà không cần khởi chạy toàn bộ trình duyệt và trong một số trường hợp có thể thay thế các công cụ headless như Puppeteer hoặc Playwright.
Cloudflare sử dụng nhiều lớp bảo vệ chống lại lưu lượng tự động, được gọi chung là bảo vệ chống bot. Các lớp này bao gồm thử thách JavaScript, chuyển hướng HTTP, kiểm tra tiêu đề, cookie token và giới hạn dựa trên IP. CloudScraper phát hiện cơ chế xác minh và áp dụng chiến lược xử lý phù hợp.
CloudScraper là công cụ đa nền tảng, được cập nhật thường xuyên và tương thích với Windows, Linux và macOS. Nó hoạt động trong môi trường ảo và trên các máy chủ không có giao diện đồ họa. Ngoài ra, nó cho phép các nhà phát triển tích hợp proxy nhanh chóng để tăng khả năng kiểm soát truy cập và độ tin cậy.
Để bắt đầu, bạn cần có Python phiên bản 3.6 trở lên. Việc sử dụng CloudScraper trong Python rất thuận tiện vì mô-đun có thể được cài đặt bằng một lệnh duy nhất và sẵn sàng hoạt động ngay trong bất kỳ môi trường nào.
Công cụ được cài đặt thông qua trình quản lý gói tiêu chuẩn của Python — pip, cho phép tải xuống và cập nhật các thư viện bên thứ ba từ kho PyPI chính thức. Nếu bạn đang sử dụng môi trường ảo, hãy đảm bảo rằng nó đã được kích hoạt trước khi cài đặt.
PHP
Node.js
Python
Java
Golang
vn 
English 
Español 
中國人 
Deutsch 
Українська 
Português 
Français 
भारतीय 
Türkçe 
한국인 
Italiano 
Gaeilge 
اردو 
Indonesia 
Polski pip install cloudscraperTrong quá trình cài đặt, thư viện sẽ tự động tải các gói phụ thuộc chính: requests, pyparsing và requests-toolbelt. Nếu cần, chúng có thể được cập nhật thủ công:
pip install --upgrade requests pyparsing requests-toolbeltĐể xác minh rằng cài đặt đã hoàn tất chính xác, bạn có thể chạy đoạn mã kiểm thử sau:
import cloudscraper
scraper = cloudscraper.create_scraper()
response = scraper.get("https://www.cloudflare.com")
print(response.status_code)Nếu đoạn mã trả về mã trạng thái 200, 301 hoặc 302, kết nối đã thành công và phản hồi đã được nhận từ máy chủ.
Ví dụ dưới đây minh họa cách sử dụng mô-đun để gửi yêu cầu đến một trang được bảo vệ, với các tham số môi trường tương ứng với trình duyệt Chrome trên Windows.
Điều này cần thiết để tạo tiêu đề chính xác và tăng khả năng thiết lập phiên thành công:
import cloudscraper
url = "https://example.com/protected"
scraper = cloudscraper.create_scraper(
browser={
'browser': 'chrome',
'platform': 'windows',
'mobile': False
}
)
response = scraper.get(url)
if response.status_code == 200:
print("Truy cập được cấp phép.")
print(response.text[:500])
elif response.status_code == 403:
print("Yêu cầu bị từ chối. Kiểm tra proxy hoặc tiêu đề.")
else:
print(f"Mã phản hồi: {response.status_code}")Dựa trên các tham số này, mô-đun sẽ thay thế User-Agent và các tiêu đề quan trọng khác, giúp xử lý thử thách chính xác và truy xuất nội dung trang.
Nếu sử dụng máy chủ proxy của CloudScraper, công cụ sẽ chấp nhận các tham số ở dạng tiêu chuẩn – dưới dạng từ điển proxies, tương tự định dạng mà thư viện requests sử dụng. Điều này cho phép nhà phát triển dùng cùng một proxy cho nhiều yêu cầu, bảo đảm xử lý IP nhất quán và ổn định phiên làm việc.
Ví dụ cách truyền tham số máy chủ proxy khi thực thi một yêu cầu:
proxies = {
'http': 'http://user:pass@proxy.server:port',
'https': 'http://user:pass@proxy.server:port'
}
scraper = cloudscraper.create_scraper()
response = scraper.get(url, proxies=proxies)CloudScraper proxy được khuyến nghị khi làm việc với các tài nguyên giới hạn truy cập theo IP, khu vực hoặc tần suất gọi. Chúng giúp phân phối tải, mô phỏng lưu lượng từ khu vực mong muốn và cải thiện độ ổn định truy cập.
Mặc dù có các cơ chế nâng cao để tương tác với lớp bảo vệ, CloudScraper không xử lý captcha tự động. Điều này áp dụng cho hCaptcha tương tác và reCAPTCHA đồ họa. Thư viện không nhận diện nội dung của chúng, vì vậy không thể tạo phản hồi cho các biểu mẫu như vậy.
Khi truy xuất trang có captcha, mô-đun trả về HTML chứa phần tử tương ứng, ví dụ:
<iframe src="https://www.google.com/recaptcha/api2/anchor?...">Trong trường hợp này có hai hướng giải pháp khả thi:
captcha_data = {
'method': 'userrecaptcha',
'googlekey': 'SITE_KEY',
'pageurl': 'https://example.com',
'key': 'API_KEY_ANTICAPTCHA'
}Nếu captcha xuất hiện ngay cả ở mức tần suất yêu cầu vừa phải, hợp lý là:
Chất lượng địa chỉ IP là yếu tố then chốt khi làm việc với tài nguyên được bảo vệ. Proxy đáng tin cậy cho CloudScraper (residential, mobile, ISP hoặc datacenter) giúp giảm khả năng gặp captcha và bảo đảm hiệu năng phiên ổn định. Để tìm hiểu khác biệt giữa các loại proxy và cách chọn giải pháp phù hợp cho nhiệm vụ cụ thể, hãy đọc bài viết này.
Mô-đun giải quyết nhiều tác vụ liên quan đến việc vượt qua Cloudflare, nhưng đôi khi cần một cách tiếp cận khác – chuyên biệt hơn hoặc phù hợp với điều kiện bảo vệ cụ thể.
Dưới đây là một số lựa chọn phổ biến:
So sánh giải pháp:
| Tính năng / Công cụ | CloudScraper | Requests+cookies | Puppeteer | Playwright |
|---|---|---|---|---|
| Độ phức tạp triển khai | Thấp | Trung bình | Cao | Cao |
| Tốc độ hiệu năng | Cao | Cao | Trung bình | Trung bình |
| Khả năng chống kiểm tra | Trung bình | Thấp | Cao | Tối đa |
| Tích hợp dịch vụ captcha | Có (qua API) | Không | Có (qua plugin/API) | Có (qua plugin/API) |
| Thực thi JavaScript | Một phần | Không | Có | Có |
| Mức tiêu thụ tài nguyên | Thấp | Thấp | Cao | Cao |
Ngay cả với cấu hình đúng, CloudScraper vẫn có thể gặp sự cố kỹ thuật; khi hiểu rõ nguyên nhân, việc chẩn đoán và khắc phục sẽ khá trực tiếp.
Khi xử lý yêu cầu, có thể xuất hiện thông báo cho biết vấn đề với chứng chỉ SSL. Điều này cho thấy lỗi xác minh — thường do chứng chỉ hết hạn hoặc ngày giờ hệ thống không chính xác.
Cách khắc phục:
scraper.get(url, verify=False)Đoạn mã trên cho thấy cách tạm thời bỏ qua lỗi xác minh SSL bằng cách vô hiệu hóa kiểm tra chứng chỉ. Điều này hữu ích cho việc chẩn đoán nhưng không an toàn nếu dùng lâu dài.
Máy chủ từ chối yêu cầu với lỗi 403, mặc dù URL có thể truy cập được trong trình duyệt. Điều này xảy ra khi hệ thống bảo vệ xác định các yêu cầu là tự động.
Cách khắc phục vấn đề:
import cloudscraper
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.199 Safari/537.36',
'Referer': 'https://example.com',
'Accept-Language': 'en-US,en;q=0.9',
'Accept-Encoding': 'gzip, deflate, br'
}
scraper = cloudscraper.create_scraper()
response = scraper.get("https://example.com", headers=headers)
print(response.status_code)Lưu ý: Nếu User-Agent được thiết lập thủ công thông qua headers, tham số trình duyệt khi tạo phiên không cần thiết — nó sẽ bị ghi đè.
Bạn cũng nên kiểm tra proxy đang sử dụng và nếu cần, hãy thay đổi IP hoặc chọn máy chủ trung gian từ khu vực khác.
Mô-đun không thể xử lý trang thử thách trả về, hiển thị HTML trống hoặc thông báo lỗi. Nguyên nhân — loại bảo vệ không được thư viện hỗ trợ (ví dụ: hCaptcha hoặc Turnstile).
Cách khắc phục vấn đề:
Nếu vẫn không hiệu quả, nên chuyển sang sử dụng trình duyệt headless.
Khi gửi yêu cầu, có hiện tượng chuyển hướng lặp lại giữa các trang. Nội dung không tải được và dòng yêu cầu thay đổi nhiều lần mà không tới được trang đích.
Trong trường hợp này, người dùng bị chuyển hướng lại trang xác minh vì quá trình vượt qua bảo vệ chưa hoàn tất. Điều này có thể xảy ra khi cookie không được lưu giữa các lần thử hoặc phiên bị mất trong quá trình điều hướng.
Các bước khắc phục:
import cloudscraper
scraper = cloudscraper.create_scraper()
response1 = scraper.get("https://example.com/start")
response2 = scraper.get("https://example.com/continue")
print(response2.status_code)import time
import cloudscraper
scraper = cloudscraper.create_scraper()
response1 = scraper.get("https://example.com/start")
time.sleep(2)
response2 = scraper.get("https://example.com/continue")Việc thêm độ trễ giúp tránh tình huống máy chủ phân loại lưu lượng truy cập là tự động do tần suất gọi quá cao. Điều này đặc biệt quan trọng khi sử dụng CloudScraper proxy: độ trễ giúp cải thiện sự ổn định của phiên và giảm khả năng kích hoạt bộ lọc.
Một số yêu cầu thành công trong khi những yêu cầu khác thất bại do lỗi kết nối hoặc hết thời gian chờ. Nguyên nhân thường là do IP chất lượng thấp.
Cách giảm thiểu:
Việc ghi log giúp theo dõi hoạt động của mô-đun khi kết nối qua máy chủ proxy (yêu cầu, mã trạng thái, loại lỗi). Trong Python, điều này được thực hiện bằng mô-đun logging tiêu chuẩn, ví dụ:
import logging
import cloudscraper
# ghi log cơ bản ra file
logging.basicConfig(
filename="scraper.log",
level=logging.INFO,
format="%(asctime)s - %(levelname)s - %(message)s"
)
scraper = cloudscraper.create_scraper()
try:
response = scraper.get("https://example.com")
logging.info(f"Yêu cầu thành công, trạng thái: {response.status_code}")
except Exception as e:
logging.error(f"Lỗi yêu cầu: {e}")Kết quả tạo ra log ghi lại các lỗi và yêu cầu thành công, giúp xác định proxy CloudScraper nào gặp lỗi và khi nào.
Nếu proxy bắt đầu trả về lỗi 403, timeout, SSL, v.v., bạn nên triển khai xoay vòng IP (IP rotation). Sử dụng danh sách proxy và chuyển sang máy chủ khả dụng tiếp theo khi gặp lỗi, ví dụ:
import cloudscraper
proxies_list = [
"http://user:pass@proxy1:port",
"http://user:pass@proxy2:port",
"http://user:pass@proxy3:port"
]
url = "https://example.com"
scraper = cloudscraper.create_scraper()
for proxy in proxies_list:
try:
response = scraper.get(url, proxies={"http": proxy, "https": proxy}, timeout=10)
if response.status_code == 200:
print("Thành công qua:", proxy)
break
except Exception as e:
print("Lỗi tại", proxy, "-", e)Kết quả là các yêu cầu sẽ được thực thi thông qua proxy khả dụng đầu tiên trong danh sách, giúp tránh các địa chỉ không hoạt động.
Sử dụng CloudScraper Proxy giúp tự động hóa các yêu cầu tới các trang web có lớp bảo vệ ở cấp kết nối. Các lỗi thường bắt nguồn từ proxy không ổn định, tần suất yêu cầu cao hoặc CAPTCHA. Giải pháp thực tế bao gồm sử dụng IP đáng tin cậy, điều chỉnh tiêu đề và quản lý tần suất yêu cầu.
Không. CloudScraper hoạt động ở cấp độ yêu cầu HTTP và không tái tạo hành vi đầy đủ của trình duyệt. Nó có thể ngụy trang bằng các tiêu đề, nhưng không thể mô phỏng hành vi người dùng hoặc dấu vân tay trình duyệt. Đối với các kiểm tra dựa trên hành vi, hãy sử dụng các công cụ headless như Playwright hoặc Puppeteer.
Có. Hãy tách biệt các phiên, sử dụng danh sách proxy và xử lý ngoại lệ đúng cách. Tạo một phiên riêng cho mỗi luồng. Khi gặp lỗi kết nối (timeout, ProxyError, 403 Forbidden, 429 Too Many Requests), hãy xoay vòng proxy.
CloudScraper phù hợp cho các dự án nhỏ và trung bình nơi tốc độ tích hợp là quan trọng. Đối với các hệ thống tải cao, quan trọng trong sản xuất, nên xem xét các giải pháp mở rộng hơn (ví dụ: Playwright) hoặc nền tảng tùy chỉnh dựa trên trình duyệt.
Bình luận: 0