Scrapoxy 代理聚合器概述

评论: 0

Scrapoxy 是一款代理管理工具,可提高网络搜索过程的效率和安全性。它本身不是搜刮工具或代理服务器提供商,但在管理代理服务器和在代理服务器之间分配请求以优化数据收集工作方面发挥着至关重要的作用。

image19.png

使用 Scrapoxy 进行网络搜刮的原理包括三个关键步骤:

  1. 通过设置数据收集过程中使用的代理服务器参数来配置聚合器;
  2. 使用配置文件或连接参数将 Scrapoxy 与刮板连接起来;
  3. 启动搜索过程,在此期间,Scrapoxy 会自动在代理服务器上分发请求。

通过 Scrapoxy,您可以集成各种框架和库,以增强网络刮擦能力:

  • BeautifulSoup 是一个 Python 库,旨在从 HTML 和 XML 文档中提取数据;
  • Scrapy 是一个基于 Python 的强大而灵活的网络刮擦框架,以高效和多功能而著称;
  • Puppeteer 是一个 Node.js 库,它提供了一个控制 Chrome 或 Chromium 的 API,因此成为网络搜索和自动化任务的热门选择。

接下来,我们将深入了解 Scrapoxy 的功能,并探索其提供的特性。

Scrapoxy 的特点

Scrapoxy 能够更高效、更安全地完成数据收集任务,从而增强了搜索软件的功能。作为代理聚合器,它是管理代理服务器的强大工具,具有几个显著特点:

支持所有代理类型

Scrapoxy 既支持动态 IP 地址,也支持静态 IP 地址,体现了其作为一款工具的灵活性。它允许配置各种类型的代理,包括

  • 数据中心 IPv4/IPv6 代理;
  • ISP 代理;
  • 住宅代理;
  • 移动代理。

这种多功能性使 Scrapoxy 成为执行各种网络搜索和流量管理任务的绝佳选择。此外,它还支持各种类型的 HTTP/HTTPS 和 SOCKS 协议,使您能够自定义 Scrapoxy,有效满足项目的特定需求。

自动代理旋转

Scrapoxy 支持代理服务器自动轮换,从而提高了匿名性,并降低了网络搜刮活动中被拦截的风险。代理轮换包括定期更换使用中的代理,并将请求分发到不同的 IP 地址,以避免目标网站的检测和限制。

这一功能不仅使流量更难跟踪,更不容易被拦截,而且还能在不同代理之间平均分配负载。Scrapoxy 中自动轮换功能的无缝实施为用户提供了友好的体验,在管理大型 IP 地址池时尤为重要。

交通监控和管理

Scrapoxy 可全面监控网络刮擦任务期间的传入和传出流量,提供用户会话的详细概览。这一功能可密切跟踪多个关键指标:

  • 会话期间发出的请求数;
  • 使用中的活动代理数量;
  • 每个代理处理的请求平均数;
  • 当前数据采集率;
  • 通过代理服务器接收和发送的数据总量。

所有这些数据都会持续更新,并记录在 Scrapoxy 的指标部分。该功能可让用户使用特定代理服务器评估其刮擦项目的质量和效率,并方便地整理信息,以便进行全面分析和审查。

受阻代理的管理

Scrapoxy 具有监控和自动检测被阻止的代理服务器的功能。如果代理服务器不可用或出现故障,Scrapoxy 会将其标记为已阻止。这样就能防止代理服务器再次被用于刮擦,确保不间断地收集数据。

要管理被屏蔽的代理服务器,用户可以通过 Scrapoxy 网页界面和应用程序接口进行选择。在网页界面上,用户可以查看代理服务器列表及其当前状态,必要时还可以手动将代理服务器标记为已封禁。另外,Scrapoxy API 可以实现这一过程的自动化,从而更有效地管理代理服务器。

Scrapoxy 应用界面

Scrapoxy 提供用户友好的可视化网络界面来管理其主要功能。要访问该界面,首先需要使用 Docker 或 Node.js 安装 Scrapoxy。

image9.png

Projects

此选项卡显示已创建的所有项目列表。如果还没有项目,您可以选择通过导航至设置选项卡直接从本部分创建一个项目。每个项目条目都包含基本信息,并允许进行更详细的查看和配置更改。

image5.png

该列表中的一个项目可以显示多个状态,每个状态表示不同的运行状态:

  • OFF:项目停止,项目使用的代理被删除。
  • CALM:项目处于 "休眠 "状态,只保留项目设置中指定的最少代理数量。
  • HOT:项目处于活动状态,代理正在运行和操作。

    image11.png

Credentials

项目建立后,就会创建一个账户,其中包括供应商、头衔和令牌等详细信息。账户包含连接云提供商时进行身份验证和授权的必要信息。输入这些详细信息后,程序会验证数据的有效性。验证成功后,设置将被保存,凭证将显示在此选项卡中。在此,您可以看到项目名称、云提供商和一个允许您访问更详细账户设置的按钮。

NEW1.png

Connectors

此选项卡显示所有连接器的列表,连接器是使 Scrapoxy 能够与各种云提供商交互以创建和管理代理服务器的模块。

设置连接器时,需要指定

  • 前一节提到的凭据;
  • 连接器的唯一名称;
  • 将使用的代理数量;
  • 代理超时,即不活动代理被视为非操作的持续时间。

所有已添加的连接器都显示在 "连接器 "部分。中央窗口会显示每个连接器的以下信息:

  • 状态;
  • 名称和类型;
  • 代理数量;
  • 调整代理数量的控件;
  • 设置为默认连接器的选项;
  • 其他设置。

    NEW2.png

连接器有三种状态:开"、"关 "和 "错误"。可根据需要对连接器进行编辑,以更新数据并验证其有效性。

Proxies

该选项卡功能强大,可显示代理服务器列表及其基本信息,如名称、IP 地址和状态等。此外,该页面还可以管理代理服务器,让您可以根据需要删除或禁用它们。

image18.png

在状态栏中,图标表示每个代理服务器的当前状态:

  • 开始;
  • 已启动;
  • 停止;
  • 已停止;
  • 不工作.

旁边有一个图标,表示每个代理的连接状态,显示是在线、离线还是连接错误。

Coverage

当您在 Scrapoxy 中添加代理服务器列表并至少使用一次后,程序会自动分析其地理位置并生成覆盖地图,可在本节中访问。该功能提供了直观显示和统计摘要,其中包括

  • 城市名称以及每个城市的代理数量;
  • 国家和每个国家的代理数量;
  • 每个代理所属的网络名称及其各自的数量。

验证来源并确保在世界地图上的全面覆盖对于优化网络搜索过程至关重要。

image1.png

Metrics

该选项卡提供了一个监测项目的综合仪表板,提供了一系列指标。中央面板分为不同部分,显示项目的基本统计数据。在顶部面板,用户可以选择 Scrapoxy 显示分析数据的时间段。下面是项目中使用的代理服务器的详细信息:

  • 接收和发送:显示所有代理接收和发送的字节总数。
  • 请求:显示已发出的请求数。
  • 停止:显示删除请求的数量。
  • 接收和发送速率:详细说明接收和发送数据的速度。
  • 有效和无效请求:统计有效和无效请求的数量。
  • 创建和删除的代理:列出创建和删除的代理数量。

    image14.png

为分析已从代理服务器池中删除的代理服务器提供了更多信息:

  • 通过每个代理发出的平均请求数;
  • 每个代理的平均运行时间。

    image4.png

再往下,该选项卡的图表显示了所选时间段内发送和接收的数据量、发出的请求数量以及收到的止损指令。

image16.png

Tasks

该选项卡显示使用 Scrapoxy 启动的所有任务。每个任务都会显示以下信息:

  • 任务名称;
  • 开始日期和时间;
  • 完成日期和时间;
  • 任务进度:完成了多少步骤;
  • 详细视图按钮。

    image17.png

打开任务后,您可以访问更全面的详细信息,包括任务描述和重试计划。此外,如果有必要,还可以选择停止任务。

image3.png

Users

访问此选项卡时,会显示可访问项目的所有用户列表。你可以看到每个用户的姓名和电子邮件地址。在这里,你可以选择从列表中删除用户或添加新用户。需要注意的是,用户不能将自己从项目中移除;这一操作必须由具有相应权限的其他用户执行。此外,您只能添加以前登录过 Scrapoxy 的用户。

image15.png

Settings

首次连接 Scrapoxy 时,将打开此选项卡,允许您配置项目设置。该窗口包含以下信息

  • 项目名称;
  • 请求中的代理身份验证数据,包括登录名和密码;
  • 代理设置,如轮换和网络中代理的最小数量;
  • 附加功能,如在更换代理时更改用户代理、切换项目状态、拦截 HTTPS 请求、粘性 Cookie 等。

完成并保存所有设置后,您可以为项目创建一个账户。

image20.png

如何在 Scrapoxy 中集成代理服务器

要使用代理销售商在 Scrapoxy 中设置代理,请按照以下步骤操作:

  1. 登录您在 Proxy-Seller 网站上的 账户,并导航至 "API "部分。

    image7.png

  2. 复制 API 标记并保存,以备将来使用。

    image10.png

  3. 打开 Scrapoxy 网页界面,进入 "市场"。使用手动搜索功能按名称或类型查找代理卖家。

    image2.png

  4. 选择要使用的代理类型(静态或动态),然后单击 "创建 "以建立新账户。

    image12.png

  5. 输入您的姓名和之前从账户中保存的令牌。点击 "创建 "按钮确认。

    image13.png

  6. 继续创建新连接器,选择 Proxy-Seller 作为提供商。创建完成后,连接器将出现在主列表中,你可以从那里激活它。

    image8.png

现在设置已经完成,Scrapoxy 代理轮转器中的数据解析任务将通过连接的代理来执行。

总之,Scrapoxy 是一种有价值的代理管理工具,它能有效地扩展和管理代理服务器,以完成网络搜刮任务。代理管理器增强了请求的匿名性,并能高效地自动收集数据。Scrapoxy 既适合个人使用,也适合团队使用,它兼容各种代理服务器,而且免费提供。

评论:

0 评论