WebHarvy 웹 스크래퍼에서 프록시 구성하기

웹하비는 사용자가 웹 페이지에서 정보를 수집하여 CSV, Excel, 데이터베이스 등의 구조화된 형식으로 저장할 수 있는 데이터 추출 소프트웨어입니다. 이 스크레이퍼는 분석 및 연구를 위해 웹 데이터를 수집하는 사람들에게 특히 유용합니다. WebHarvy를 사용하면 표준 HTML 페이지, AJAX 페이지, JavaScript 콘텐츠 페이지 등 다양한 유형의 웹사이트에서 데이터를 검색할 수 있습니다. 데이터를 실시간으로 필터링하고 처리하여 필요한 정보만 얻을 수 있습니다. 정보는 CSV, Excel, JSON 등 다양한 형식으로 내보낼 수 있어 분석 및 추가 처리를 위해 쉽게 액세스할 수 있습니다. 웹 리소스에 액세스할 때 익명성과 보안을 극대화하기 위해 WebHarvy는 프록시 서버를 통합할 수 있는 옵션을 제공합니다.

WebHarvy의 프록시 통합

프록시를 WebHarvy에 통합하려면 소프트웨어 내에서 설정을 조정하여 지정된 IP 주소를 통해 요청을 라우팅해야 합니다. 이렇게 하면 실제 IP를 숨기고 사이트에 대한 액세스 제한을 우회하며 차단을 피할 수 있습니다. 아래 지침에 따라 프록시를 설정하세요.

1. WebHarvy를 다운로드하여 엽니다. '설정' 탭을 클릭합니다.

   

2. 열린 창에서 '프록시 설정' 섹션으로 이동하여 '프록시 서버를 통한 네트워크 연결 사용' 옵션을 선택합니다.

   

3. 드롭다운 목록에서 프록시 서버 연결 프로토콜을 선택합니다.

   

4. 프록시 서버 세부 정보를 입력합니다: IP 주소, 포트를 입력합니다. 인증이 필요한 비공개 프록시의 경우 '인증 필요' 확인란을 선택하고 '사용자 아이디' 및 '비밀번호' 필드에 각각 사용자 아이디와 비밀번호를 입력합니다. 공개 프록시 또는 IP 인증의 경우 프록시와 포트만 입력하면 됩니다.

   

5. 프록시 서버 설정을 완료하려면 "+" 버튼을 클릭하여 "프록시 목록"에 주소를 추가한 다음 "적용"을 클릭합니다.

   

6. 프록시 설정을 완료하면 메인 메뉴에서 원하는 리소스 링크를 입력할 수 있는 옵션이 제공되며, 설정된 IP 주소로 작동합니다.

   

웹하비의 프록시 통합이 성공적으로 완료되어 안전한 인터넷 스크래핑을 위해 활성화되었습니다. 또한 단기간에 웹사이트에 너무 많은 요청을 보낼 경우 발생할 수 있는 IP 주소의 일시적인 차단을 방지하는 데 도움이 됩니다.