Integración de proxies residenciales en Curl mediante herramientas API

cURL es una utilidad de línea de comandos que se incluye en la biblioteca libcurl y se utiliza para transferir datos con el uso de varios protocolos como HTTP, HTTPS y FTP. cURL es uno de los componentes básicos de los kits de herramientas de los desarrolladores, utilizado en la práctica para probar API web, descargar archivos y realizar otras tareas de transferencia de datos relacionadas con Internet.

La herramienta también proporciona una variedad de funciones como autenticación, conexiones proxy y configuración SSL, que son importantes para el desarrollo web y de sistemas.

Los proxies residenciales son útiles para raspar datos de páginas web que utilizan algunos métodos relevantes para la protección contra bots o limitan la cantidad de solicitudes aceptadas desde una única dirección IP. También existe una API para este tipo de proxies, que facilita la conexión de proxies a otros servicios o aplicaciones. Este soporte para API permite la rotación de IPs, lo que minimiza las posibilidades de bloqueo, y por tanto facilita la gestión del proxy.

Aquí vamos a demostrar en detalle cómo crear una lista de proxies residenciales y añadirlos a cURL utilizando una herramienta API.

Crear una lista de proxies residenciales

Los proxies adquiridos se pueden ver en la sección "Pedidos" del panel personal en "Residente". Para armar una lista de proxies residenciales e integración API, hay algunos pasos que se deben realizar:

1. Establezca un nombre para su nueva lista. Elija el tipo de rotación: La opción "Sticky" permite mantener la IP durante más tiempo, y "Rotating" permite al sistema rotar los proxies residenciales automáticamente. Se puede optar por el tipo de autorización, ya sea por nombre de usuario y contraseña o a través de la dirección IP principal.

   

2. Establezca el país, la región, la ciudad y los detalles del proveedor deseados de forma más precisa en la sección "Filtro". La línea "Puertos" especifica el número de puertos que deben generarse, que corresponde al número de servidores proxy. No modifique sino mantenga las opciones por defecto para el formato de exportación y haga clic en el botón "Crear herramientas api".

   

3. La clave API recién creada se encontrará en el menú "Lista de proxy". Puede copiar la línea para integrar la clave API generada en cURL y ver los datos de autorización necesarios en esta sección.

   

El último paso antes de trabajar directamente con cURL es generar la clave API. Cópiala y colócala en un archivo de texto, y luego edita la cadena después de -x, insertando en ella el nombre de usuario y la contraseña del proxy. El resultado debería ser el siguiente:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Guarde estos datos para su posterior integración. Ahora, vamos a proceder con la configuración del sistema que nos permitiría participar con el cURL.

Introducción a la instalación de Curl

Para los propósitos de este escrito, vamos a utilizar Windows 11, estos ejemplos tienen Curl ya integrado en el sistema. Sin embargo, con fines ilustrativos, vamos a echar un vistazo a cómo hacer esto manualmente en todos los sistemas operativos.

Windows

Aunque cURL se incluye en el conjunto estándar de herramientas de Windows 11, no está disponible en versiones anteriores, como Windows 10. Para abrir el símbolo del sistema, pulse la combinación de teclas Win+R e introduzca cmd. cURL puede instalarse mediante el gestor de paquetes WinGet con el comando:

winget install curl.curl

Linux

En la mayoría de las distribuciones de Linux, cURL está disponible a través de gestores de paquetes estándar. Para instalarlo en Ubuntu o Debian, utilice:

apt-get install curl

Para sistemas basados en Red Hat como RHEL, CentOS o Fedora, utilice el Yellowdog Updater Modified (YUM):

yum install curl

Los usuarios de OpenSUSE pueden instalar cURL a través de zypper:

zypper install curl

En Arch Linux, cURL se instala a través de pacman:

pacman -Sy curl

macOS

En macOS, cURL se instala mejor a través del gestor de paquetes Homebrew. Después de instalar Homebrew, ejecute el comando:

brew install curl

Ahora que cURL está instalado en el sistema operativo, podemos proceder a integrar proxies residenciales utilizando la API.

Integración de proxies residenciales en Curl y envío de una solicitud

Para verificar que todas las peticiones realizadas se encaminan a través del proxy, existen varias opciones. Una de las más básicas es un servicio de prueba que proporcione información sobre la dirección IP utilizada y cualquier otro detalle sobre la solicitud. Servicios como httpbin.org ofrecen esta posibilidad.

En el símbolo del sistema, escriba la API guardada anteriormente y al final añada el sitio de prueba que es httpbin.org. El formato es el siguiente:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Este comando permitirá enviar una solicitud a httpbin.org utilizando el proxy. El servicio responderá con un objeto JSON que contendrá la dirección IP desde la que se recibió la petición y otros parámetros. Si la conexión es correcta, la respuesta será como:

"origin": "90.199.172.229": Esta es la dirección IP que se ha utilizado como IP saliente para httpbin.org y se espera que sea la dirección IP del proxy.

Ejemplos de uso de banderas

Como complemento a la parte práctica de este artículo, también será útil alguna información relativa al envío de datos vía cURL con diferentes flags.

Se presta especial atención a las banderas -d, -F y --json, cada una de las cuales sirve para un propósito específico.

Envío de datos JSON a través de proxy residencial utilizando -d:

Principalmente para enviar formularios o JSON, A menudo se envía una solicitud POST utilizando la bandera -d o --data. Este ejemplo demuestra cómo enviar datos de autenticación a través con proxy residencial API de la siguiente manera:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Aquí, -x se utiliza para configurar el proxy con datos de autenticación, y -d envía información del usuario al servidor.

Envío de un archivo a través de un proxy residencial utilizando -F:

El indicador -F se utiliza para enviar archivos en formato multipart/form-data. Este método es ideal para las API que requieren la carga de archivos a través de un proxy.

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

La bandera -F especifica la ruta al archivo que debe enviarse, y -x configura el proxy para enrutar la petición.

Envío simplificado de JSON mediante --json:

La bandera --json está orientada a facilitar el envío de JSON, ya que establece automáticamente las cabeceras apropiadas que describen la naturaleza de los datos.

Un ejemplo de envío de JSON utilizando un proxy residencial con cURL --json es el siguiente:

curl -v -x apic530a1251a2232a9:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

En este caso, --json se encarga de añadir las cabeceras necesarias para apuntar a JSON y envía la petición a través de dicho proxy a httpbin.org que devolverá la IP junto con la información solicitada.

El uso conjunto de cURL y los proxies residenciales API abre un mundo de posibilidades en lo que respecta a la realización de peticiones de red. La capacidad de gestionar servidores proxy con facilidad permite a los usuarios cambiar las direcciones IP y ciertas configuraciones fácilmente sin ninguna intervención manual. Esto no sólo ayuda en la automatización de las tareas cotidianas, sino que aumenta el anonimato y la seguridad de las actividades relacionadas con Internet, haciéndolas menos susceptibles a las amenazas externas.