Cách thiết lập proxy cho phế liệu

Scrapy là một chương trình quét và thu thập thông tin trên web. Nó giúp thu thập thông tin cần thiết từ khắp nơi trên internet, xử lý dữ liệu và sắp xếp nó thành bảng tính. Toàn bộ quá trình này sẽ trở nên hiệu quả và an toàn hơn nếu bạn thiết lập các máy chủ proxy cho phế liệu.

Mặc dù việc cạo không bị cấm, nhiều tài nguyên web chủ động chặn người dùng cho các hành động đó trên trang web của họ. Để giải quyết vấn đề này, bạn cần proxy. Các máy chủ proxy sẽ ẩn địa chỉ IP của bạn và thay thế nó với các máy chủ khác và tất cả các hành động của chương trình sẽ trông hữu cơ như thể các trang web được truy cập không phải bởi một chương trình, mà bởi những người thực sự.

Cài đặt proxy từng bước trong Scrapy

Có hai cách để thiết lập một proxy thay đổi IP trong phế liệu.

Method 1: Through query parameters

Trong tùy chọn này, bạn phải viết proxy dưới dạng tham số.

1. Mở phế liệu.
2. Trong mã, hãy tìm phần mềm trung gian có tên "HTTPPROXYMIDDLEWORK".
3. Tìm tham số "meta" và tiếp theo nhập dữ liệu máy chủ proxy của bạn ở định dạng: "proxy": "gõ: // ip-address: port: tên người dùng: mật khẩu".



4. Đóng mã và đi làm.

Phương pháp 2: Thông qua phần mềm trung gian của bạn

Ở đây bạn cần tạo phần mềm trung gian của bạn. Phương pháp này được coi là cô lập và an toàn hơn.

1. Mở chương trình.
2. Nhập mã với dữ liệu proxy của bạn ở định dạng: ["Proxy"] = "Loại: // IP-ADDRESS: Cổng: Tên người dùng: Mật khẩu".



3. Kích hoạt phần mềm trung gian này trong cài đặt và đặt nó trước tham số "HTTPPROXYMIDDLEWORK".
4. Đóng mã. Cấu hình được hoàn thành!

Cách kiểm tra xem proxy có hoạt động trong Scrapy hay không

1. Mở bất kỳ trang web nào có thể xác định địa chỉ IP của bạn (chỉ cần nhập truy vấn "Địa chỉ IP của tôi" hoặc "Địa chỉ IP thử nghiệm" và chọn tên nào bạn thích).
2. Scrape nó với phế liệu.
3. Nếu bạn thấy địa chỉ của máy chủ proxy của bạn là kết quả, thì thiết lập đã thành công.

Đối với dịch vụ phế liệu, tốt nhất là chọn các proxy tư nhân chất lượng cao như HTTP và SOCKS5. Chúng đáng tin cậy, nhanh chóng và có thể bảo vệ bạn khỏi mọi chặn.