Integrando Proxies Residenciais no Curl via Ferramentas API

O cURL é um utilitário de linha de comandos que está incluído na biblioteca libcurl e é utilizado para transferir dados através de vários protocolos, como HTTP, HTTPS e FTP. O cURL é um dos componentes básicos dos kits de ferramentas dos programadores, utilizado na prática para testar API da Web, descarregar ficheiros e realizar outras tarefas de transferência de dados relacionadas com a Internet.

A ferramenta também fornece uma variedade de funções, tais como autenticação, ligações proxy e definições SSL, que são importantes para o desenvolvimento da Web e de sistemas.

Os proxies residenciais são úteis para extrair dados de páginas Web que utilizam alguns métodos relevantes para a proteção de bots ou limitam a quantidade de pedidos aceites a partir de um único endereço IP. Existe também uma API para este tipo de proxies, o que facilita a ligação dos proxies a outros serviços ou aplicações. Este suporte para API permite a rotação de IPs, o que minimiza as hipóteses de bloqueio, facilitando assim a gestão do proxy.

Aqui vamos demonstrar em pormenor como criar uma lista de proxies residenciais e adicioná-los ao cURL utilizando uma ferramenta API.

Criação de uma lista de procurações residenciais

Os proxies adquiridos podem ser consultados na secção "Encomendas" do painel de controlo pessoal, em "Residente". Para elaborar uma lista de proxies residenciais e de integração API, é necessário efetuar alguns passos:

1. Defina um nome para a sua nova lista. Escolha o tipo de rotação: A opção "Sticky" permite manter o IP durante o maior tempo possível e a opção "Rotating" permite que o sistema rode os proxies residenciais automaticamente. O tipo de autorização pode ser escolhido por nome de utilizador e palavra-passe ou através do endereço IP principal.

   

2. Defina o país, a região, a cidade e os detalhes do fornecedor desejados de forma mais restrita na secção "Filtro". A linha Portas especifica o número de portas a serem geradas, o que corresponde ao número de servidores proxy. Não altere, mas mantenha as opções predefinidas para o formato de exportação e clique no botão "Criar ferramentas api".

   

3. A chave de API recém-criada será encontrada no menu "Lista de Proxy". Pode copiar a linha para integrar a chave da API gerada no cURL e ver os dados de autorização necessários nesta secção.

   

O passo final antes de trabalhar diretamente com o cURL é gerar a chave API. Copie-a e coloque-a num ficheiro de texto, e depois edite a string após -x, inserindo nela o nome de utilizador e a palavra-passe do proxy. O resultado deve ser o seguinte:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Guarde estes dados para integração posterior. Agora, vamos prosseguir com a configuração do sistema que nos permitiria interagir com o cURL.

Começando com a instalação do Curl

Para os fins deste artigo, usaremos o Windows 11, esses exemplos já têm o Curl incorporado ao sistema. No entanto, para fins ilustrativos, vamos dar uma olhada em como fazer isso manualmente em todos os sistemas operacionais.

Windows

Embora o cURL esteja incluído no conjunto padrão de ferramentas do Windows 11, ele não está disponível em versões anteriores, como o Windows 10. Para abrir o prompt de comando, pressione a combinação de teclas Win+R e digite cmd. O cURL pode ser instalado usando o gerenciador de pacotes WinGet com o comando:

winget install curl.curl

Linux

Na maioria das distribuições Linux, o cURL está disponível através de gestores de pacotes padrão. Para instalar no Ubuntu ou Debian, use:

apt-get install curl

Para sistemas baseados em Red Hat, como RHEL, CentOS ou Fedora, use o Yellowdog Updater Modified (YUM):

yum install curl

Os utilizadores do OpenSUSE podem instalar o cURL através do zypper:

zypper install curl

No Arch Linux, o cURL é instalado via pacman:

pacman -Sy curl

macOS

No macOS, o cURL é melhor instalado através do gerenciador de pacotes Homebrew. Depois de instalar o Homebrew, execute o comando:

brew install curl

Agora que o cURL está instalado no sistema operativo, podemos proceder à integração de proxies residenciais utilizando a API.

Integrando Proxies Residenciais no Curl e Enviando uma Requisição

Para verificar se cada pedido feito está a ser encaminhado através do proxy, existem várias opções disponíveis. Uma das mais básicas é um serviço de teste que fornece informações sobre o endereço IP usado e quaisquer outros detalhes sobre a solicitação. Serviços como o httpbin.org fornecem essa capacidade.

No prompt de comando, digite a API salva anteriormente e, no final, adicione o site de teste que é httpbin.org. O formato é o seguinte:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Este comando permitirá enviar um pedido para httpbin.org utilizando o proxy. O serviço responderá com um objeto JSON que contém o endereço IP a partir do qual o pedido foi recebido e outros parâmetros. Se a ligação estiver correta, a resposta será a seguinte

"origin": "90.199.172.229": Este é o endereço IP que foi utilizado como IP de saída para httpbin.org e que se espera que seja o endereço IP do proxy.

Exemplos de uso de flags

Para além da parte prática deste artigo, também serão úteis algumas informações relativas ao envio de dados via cURL com diferentes flags.

Especial atenção é dada às flags -d, -F, e --json, cada uma servindo um propósito específico.

Envio de dados JSON através de proxy residencial usando -d:

Principalmente para enviar formulários ou JSON, muitas vezes um pedido POST é enviado usando o sinalizador -d ou --data. Este exemplo demonstra como enviar dados de autenticação através do proxy residencial da API da seguinte forma:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Aqui, -x é utilizado para configurar o proxy com dados de autenticação e -d envia informações do utilizador para o servidor.

Enviar um ficheiro através de um proxy residencial utilizando -F:

O sinalizador -F é utilizado para enviar ficheiros no formato multipart/form-data. Este método é ideal para APIs que requerem o carregamento de ficheiros através de um proxy.

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

O sinalizador -F especifica o caminho para o ficheiro que deve ser enviado, e -x configura o proxy para encaminhar o pedido.

Envio simplificado de JSON usando --json:

O sinalizador --json tem como objetivo facilitar o envio de JSON, uma vez que define automaticamente os cabeçalhos apropriados que descrevem a natureza dos dados.

Um exemplo de envio de JSON usando um proxy residencial com cURL --json é o seguinte:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Nesse caso, --json se encarrega de adicionar os cabeçalhos necessários para direcionar o JSON e envia a solicitação por meio do referido proxy para httpbin.org, que retornará o IP junto com as informações solicitadas.

Usar o cURL e os proxies residenciais da API em conjunto abre um mundo de possibilidades no que diz respeito à realização de solicitações de rede. A capacidade de gerenciar servidores proxy com facilidade, permitindo que os usuários alterem endereços IP e certas configurações facilmente sem qualquer entrada manual. Isto não só ajuda na automatização das tarefas diárias, como também aumenta o anonimato e a segurança das actividades relacionadas com a Internet, tornando-as menos susceptíveis a ameaças externas.