Web crawler được sử dụng để theo dõi giá, tổng hợp tin tức, phân tích đối thủ cạnh tranh, lập chỉ mục công cụ tìm kiếm và các tác vụ khác yêu cầu thu thập dữ liệu có cấu trúc từ các trang web. Hướng dẫn này giải thích cách xây dựng một web crawler từ đầu, bắt đầu với việc lập kế hoạch dự án và lựa chọn công nghệ, và kết thúc bằng thiết lập môi trường và lưu trữ dữ liệu. Nó cung cấp một nền tảng mà sau này bạn có thể mở rộng cho các dự án lớn hơn và phức tạp hơn.
Đây là một chương trình tự động truy cập các trang web và thu thập thông tin từ chúng. Nó hoạt động bằng cách gửi các yêu cầu HTTP đến một trang web, lấy mã HTML của từng trang và sau đó xử lý đoạn HTML đó để trích xuất dữ liệu cần thiết. Sau đó, nó theo các liên kết nội bộ và lặp lại quy trình cho đến khi đạt đến giới hạn hoặc điều kiện dừng được xác định trước. Quy trình này không giống với web scraping. Để so sánh chi tiết, hãy xem Quét web và thu thập dữ liệu web.
Các công cụ như vậy được sử dụng rộng rãi để:
Trong các trường hợp này, tự xây dựng web crawler thường là phương pháp tốt hơn: bạn có thể điều chỉnh chương trình theo nhu cầu của mình, kiểm soát tần suất yêu cầu và xác định chính xác dữ liệu cần thu thập và cách thu thập chúng.
Trước khi bắt đầu viết mã, hãy xác định các tham số cốt lõi của dự án để tránh các vấn đề phổ biến và đảm bảo hoạt động ổn định.
Một công cụ được lập kế hoạch tốt hoạt động ổn định, sử dụng tài nguyên hiệu quả và mang lại kết quả chất lượng cao.
Bạn có thể xây dựng web crawler bằng nhiều ngôn ngữ lập trình khác nhau như Python, Java và PHP. Python nổi bật nhờ cú pháp đơn giản và hệ sinh thái thư viện phong phú phục vụ gửi yêu cầu HTTP và phân tích HTML (như requests, BeautifulSoup, lxml). Java là lựa chọn đáng tin cậy cho các dự án quy mô lớn và cấp doanh nghiệp. PHP phổ biến trong phát triển web và ít phù hợp cho các crawler độc lập.
Ở lần thử đầu tiên, chúng ta sẽ xem cách xây dựng web crawler bằng Python vì nó thường là lựa chọn tối ưu — cho phép bạn triển khai và thử nghiệm chức năng cơ bản nhanh chóng.
Bắt đầu bằng cách cài đặt Python từ trang web chính thức. Sau đó, cài đặt các thư viện cốt lõi bạn sẽ dùng: requests để gửi yêu cầu HTTP và BeautifulSoup để phân tích HTML:
PHP
Node.js
Python
Java
Golang
vn 
English 
Español 
中國人 
Deutsch 
Українська 
Português 
Français 
भारतीय 
Türkçe 
한국인 
Italiano 
Gaeilge 
اردو 
Indonesia 
Polski
pip install requests beautifulsoup4
Ngay từ đầu, bạn cũng nên tổ chức cấu trúc dự án của mình một cách rõ ràng: tách riêng các tệp cho logic chính, cấu hình và tiện ích. Điều này giúp việc bảo trì và mở rộng trong tương lai trở nên dễ dàng hơn nhiều.
Một script cơ bản có thể bao gồm ba phần chính: gửi yêu cầu, xử lý HTML và theo các liên kết.
from bs4 import BeautifulSoup
import time
import random
# Configuration
url = "https://quotes.toscrape.com/" # Replace this with your target site
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"
}
timeout = 5 # server response timeout
max_retries = 3 # maximum number of retries on errors
# You can add your proxy here if needed
proxies = {
"http": "http://username:password@proxyserver:port",
"https": "https://username:password@proxyserver:port"
}
# Function to check access via robots.txt
def can_crawl(base_url, path="/"):
try:
robots_url = base_url.rstrip("/") + "/robots.txt"
r = requests.get(robots_url, headers=headers, timeout=timeout)
if r.status_code == 200 and f"Disallow: {path}" in r.text:
print(f"Service {path} forbidden for scraping robots.txt")
return False
except requests.RequestException:
# If robots.txt is unavailable, continue
pass
return True
# Main logic
if can_crawl(url):
for attempt in range(max_retries):
try:
response = requests.get(url, headers=headers, timeout=timeout, proxies=proxies)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'lxml')
# Collect links
links = [a['href'] for a in soup.find_all('a', href=True)] # You can change selector here
print("Found links:", links)
# Delay between requests to simulate more realistic behavior
time.sleep(random.uniform(3, 7)) # better than a fixed 5-second delay
break # if everything succeeds, exit the retry loop
except requests.RequestException as e:
print(f"Request error (attempt {attempt+1}): {e}")
wait = 2 ** attempt
print(f"Waiting {wait} seconds before retry...")
time.sleep(wait)
else:
print("The crawler cannot process this resource due to robots.txt rules")
Script này cho thấy quy trình làm việc cơ bản: gửi yêu cầu, phân tích HTML và thu thập các liên kết.
Đối với các trang web nhiều trang, bạn cần một vòng lặp để đi qua toàn bộ các trang. Ví dụ:
for page in range(1, 6):
url = f"https://google.com/page/{page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
# data processing
Thu thập dữ liệu một cách có trách nhiệm bao gồm việc kiểm tra tệp robots.txt của trang web và tuân theo các quy tắc của nó. Bạn cũng cần thêm khoảng nghỉ giữa các yêu cầu để tránh làm quá tải máy chủ. Với hàm time.sleep(), bạn có thể thêm các khoảng dừng giữa các lần tải trang.
import time
from bs4 import BeautifulSoup
for page in range(1, 6):
url = f"https://google.com/page/{page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
# data processing
time.sleep(5) # delay in seconds
You can store the collected details in convenient formats like CSV or JSON. For example, to save a list of links:
import json
data = {"links": links}
with open("links.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=4)
Bằng cách làm theo các bước này, bạn sẽ có được một web crawler cơ bản mà bạn có thể mở rộng cho các tác vụ nâng cao hơn. Bạn có thể mở rộng mã, tích hợp hỗ trợ proxy, xử lý số lượng lớn trang hoặc chuyển sang các framework mạnh hơn như Scrapy cho những kịch bản thu thập dữ liệu phức tạp.
Bình luận: 0