如何为 Scrapy 设置代理

Scrapy 是一款网络搜刮和抓取程序。它有助于从互联网上收集必要的信息，处理数据并将其整理成电子表格。如果为 Scrapy 设置代理服务器，整个过程将变得更加高效和安全。

尽管搜刮行为并未被禁止，但许多网络资源会主动阻止用户在其网站上进行此类操作。要解决这个问题，你需要使用代理服务器。代理服务器会隐藏你的 IP 地址，并用其他 IP 地址取而代之，程序的所有操作看起来都是有机的，就好像访问网站的不是程序，而是真人。

在 Scrapy 中逐步设置代理

在 Scrapy 中设置 IP 更改代理有两种方法。

方法 1：通过查询参数

在此选项中，必须将代理作为参数写入。

1. 打开 Scrapy。
2. 在代码中找到名为 "HttpProxyMiddleware "的中间件。
3. 找到 "meta "参数，然后按格式输入代理服务器数据："代理"："type://IP-address:Port:Username:Password".



4. 关闭代码，开始工作。

方法 2：通过中间件

在这里，您需要创建中间件。这种方法被认为更加独立和安全。

1. 打开程序
2. 按格式输入带有代理数据的代码：["proxy"] = "type://IP-address:Port:Username:Password".



3. 在设置中启用该中间件，并将其置于 "HttpProxyMiddleware "参数之前。
4. 关闭代码。配置完成！

如何检查 Scrapy 中的代理是否正常工作

1. 打开任何可以确定 IP 地址的网站（只需输入 "我的 IP 地址 "或 "测试 IP 地址"，然后选择你喜欢的一个）。
2. 使用 Scrapy 对其进行抓取。
3. 如果您看到代理服务器的地址，则说明设置成功。

对于 Scrapy 服务，最好选择 HTTP 和 SOCKS5 等高质量专用代理。它们可靠、快速，可以保护您免受任何拦截。