hi 
English 
Español 
中國人 
Tiếng Việt 
Deutsch 
Українська 
Português 
Français 
Türkçe 
한국인 
Italiano 
Gaeilge 
اردو 
Indonesia 
Polski वेब स्क्रैपिंग के लिए Python एक शीर्ष विकल्प है क्योंकि इसमें मजबूत लाइब्रेरीज़ और सरल सिंटैक्स हैं। इस Python वेब स्क्रैपिंग ट्यूटोरियल में, हम डेटा एक्सट्रैक्शन की मूल बातें खोजेंगे और आपको अपना पहला वेब स्क्रैपर बनाने के लिए Python वातावरण सेटअप करने में मार्गदर्शन करेंगे। हम आपको स्क्रैपिंग कार्यों के लिए उपयुक्त प्रमुख लाइब्रेरीज़ से परिचित कराएंगे, जिनमें Beautiful Soup, Playwright और lxml शामिल हैं।
कई Python वेब स्क्रैपिंग लाइब्रेरीज़ हैं जो इस प्रक्रिया को सरल बनाती हैं। नीचे कुछ सबसे लोकप्रिय दिए गए हैं:
यदि आप सोच रहे हैं कि Python का उपयोग करके किसी वेबसाइट को कैसे स्क्रैप किया जाए, तो यह समझने से शुरू होता है कि HTTP अनुरोध कैसे काम करते हैं।
HTTP (HyperText Transfer Protocol) एक एप्लिकेशन लेयर प्रोटोकॉल है जिसका उपयोग वेब पर डेटा स्थानांतरित करने के लिए किया जाता है। जब आप ब्राउज़र में एक URL टाइप करते हैं, तो यह एक HTTP अनुरोध उत्पन्न करता है और इसे वेब सर्वर को भेजता है। सर्वर प्रतिक्रिया को ब्राउज़र को वापस भेजता है जिसे वह वेब पेज के रूप में रेंडर करता है। वेब स्क्रैपिंग के लिए, आपको इस प्रक्रिया की नकल करनी होती है और अपने स्क्रिप्ट से HTTP अनुरोध उत्पन्न करने होते हैं ताकि प्रोग्रामेटिक रूप से वेब पेजों की सामग्री प्राप्त की जा सके।
सबसे पहले, सुनिश्चित करें कि आपके सिस्टम पर Python इंस्टॉल है। आप इसे Python की आधिकारिक वेबसाइट से डाउनलोड कर सकते हैं।
एक वर्चुअल वातावरण निर्भरता प्रबंधित करने में मदद करता है। एक वर्चुअल वातावरण बनाने और सक्रिय करने के लिए इन कमांड्स का उपयोग करें:
PHP
Node.js
Python
Java
Golang
Python -m venv scraping_env
source scraping_env/bin/activate
अगला, निम्नलिखित कमांड्स का उपयोग करके आवश्यक पैकेज इंस्टॉल करें:
pip install requests
pip install beautifulsoup4
pip install lxml
चलिए एक सरल उदाहरण से शुरू करते हैं कि कैसे Python का उपयोग करके requests लाइब्रेरी के साथ एक वेबसाइट को स्क्रैप किया जाए और स्थिर सामग्री निकाली जाए।
HTTP अनुरोध का सबसे सामान्य प्रकार GET अनुरोध है, जिसका उपयोग निर्दिष्ट URL से डेटा प्राप्त करने के लिए किया जाता है। यहां एक बुनियादी Python वेब स्क्रैपिंग उदाहरण है कि http://example.com पर GET अनुरोध कैसे किया जाता है।
import requests
url = 'http://example.com'
response = requests.get(url)
requests लाइब्रेरी प्रतिक्रिया को संभालने और प्रोसेस करने के कई तरीके प्रदान करती है:
स्टेटस कोड की जांच करें: सुनिश्चित करें कि अनुरोध सफल हुआ।
if response.status_code == 200:
print('Request was successful!')
else:
print('Request failed with status code:', response.status_code)
सामग्री निकालना: प्रतिक्रिया से टेक्स्ट या JSON सामग्री निकालें।
# प्रतिक्रिया की सामग्री को टेक्स्ट के रूप में प्राप्त करें
page_content = response.text
print(page_content)
# प्रतिक्रिया की सामग्री को JSON के रूप में प्राप्त करें (यदि प्रतिक्रिया JSON फॉर्मेट में है)
json_content = response.json()
print(json_content)
HTTP और नेटवर्क त्रुटियां तब हो सकती हैं जब कोई संसाधन उपलब्ध न हो, कोई अनुरोध समय-सीमा समाप्त हो जाए, या सर्वर एक त्रुटि HTTP स्थिति (जैसे 404 Not Found, 500 Internal Server Error) लौटाए। हम इन स्थितियों को संभालने के लिए requests द्वारा उत्पन्न अपवाद ऑब्जेक्ट्स का उपयोग कर सकते हैं।
import requests
url = 'http://example.com'
try:
response = requests.get(url, timeout=10) # अनुरोध के लिए समय-सीमा निर्धारित करें
response.raise_for_status() # यदि सर्वर 404 या 500 जैसी त्रुटि लौटाता है तो यह एक त्रुटि ट्रिगर करेगा
except requests.exceptions.HTTPError as http_err:
print(f'HTTP error occurred: {http_err}')
except requests.exceptions.ConnectionError:
print('Failed to connect to the server.')
except requests.exceptions.Timeout:
print('The request timed out.')
except requests.exceptions.RequestException as req_err:
print(f'Request error: {req_err}')
else:
print('Request was successful!')
संरचित डेटा निकालने के लिए, Beautiful Soup और lxml जैसी लाइब्रेरीज़ पेज के विशिष्ट हिस्सों की पहचान करने और उन्हें पार्स करने में मदद करती हैं।
वेब पेज टैग्स द्वारा दर्शाए गए नेस्टेड तत्वों से बने होते हैं, जैसे , , , आदि। प्रत्येक टैग में विशेषताएँ हो सकती हैं और इसमें टेक्स्ट, अन्य टैग्स या दोनों शामिल हो सकते हैं।
XPath और CSS सेलेक्टर्स दस्तावेज़ में उनकी विशेषताओं या स्थिति के आधार पर तत्वों को लक्षित करने का एक तरीका प्रदान करते हैं।
स्क्रैपिंग करते समय, विशिष्ट डेटा निकालने के लिए अक्सर सही XPath या CSS सेलेक्टर्स की पहचान करनी पड़ती है। यहां बताया गया है कि उन्हें कुशलता से कैसे पाया जाए:
अधिकांश आधुनिक वेब ब्राउज़रों में बिल्ट-इन डेवलपर टूल्स होते हैं जो आपको वेब पेजों की HTML संरचना का निरीक्षण करने की अनुमति देते हैं। यहां इन टूल्स का उपयोग करने के लिए चरण-दर-चरण मार्गदर्शिका है:
XPath: /html/body/div/h1
CSS सेलेक्टर: body > div > h1
Beautiful Soup पेज की सामग्री को पार्स करने के लिए एक Python लाइब्रेरी है। यह पेज की संरचना में नेविगेट करने और खोज करने के लिए मेथड्स और एट्रिब्यूट्स प्रदान करती है।
from bs4 import BeautifulSoup
import requests
# स्क्रैप करने के लिए वेबपेज का URL
url = 'https://example.com'
# URL पर एक HTTP GET अनुरोध भेजें
response = requests.get(url)
# Beautiful Soup का उपयोग करके प्रतिक्रिया की HTML सामग्री को पार्स करें
soup = BeautifulSoup(response.content, 'html.parser')
# CSS सेलेक्टर का उपयोग करके उन सभी <h1> टैग्स को खोजें
# जो <div> टैग्स के भीतर हैं और <body> टैग के सीधे बच्चे हैं
h1_tags = soup.select('body > div > h1')
# पाए गए <h1> टैग्स की सूची पर इटररेट करें और उनका टेक्स्ट कंटेंट प्रिंट करें
for tag in h1_tags:
print(tag.text)
Beautiful Soup की तरह, lxml आपको lxml.etree.XMLSyntaxError जैसे अपवादों का उपयोग करके समस्याओं को सहजता से पकड़ने और संभालने की अनुमति देता है।
दिया गया “Python web scraping code” Playwright और lxml का उपयोग करके Amazon प्रोडक्ट पेज पर डेटा एक्सट्रैक्शन करता है। यह एक प्रॉक्सी सेट करता है और ब्राउज़र लॉन्च करता है, प्रोडक्ट पेज पर नेविगेट करता है, तत्वों के साथ इंटरैक्ट करता है, पूरे पेज लोड होने का इंतजार करता है और पेज का सोर्स कैप्चर करता है।
इस सामग्री को lxml का उपयोग करके पार्स किया जाता है ताकि एक एलिमेंट ट्री बनाया जा सके, और XPath का उपयोग करके प्रोडक्ट का टाइटल एक्सट्रैक्ट किया जाता है। स्क्रिप्ट उन मामलों को संभालती है जहां एलिमेंट नहीं मिलता या पार्सिंग विफल हो जाती है। स्क्रैपिंग के बाद, यह सही तरीके से ब्राउज़र सेशन को बंद कर देती है।
from bs4 import BeautifulSoup
import requests
# स्क्रैप करने के लिए वेबपेज का URL
url = 'https://example.com'
# URL पर एक HTTP GET अनुरोध भेजें
response = requests.get(url)
try:
# Beautiful Soup का उपयोग करके प्रतिक्रिया की HTML सामग्री को पार्स करें
soup = BeautifulSoup(response.content, 'html.parser')
# CSS सेलेक्टर का उपयोग करके उन सभी <h1> टैग्स को खोजें
# जो <div> टैग्स के भीतर हैं और <body> टैग के सीधे बच्चे हैं
h1_tags = soup.select('body > div > h1')
# पाए गए <h1> टैग्स की सूची पर इटररेट करें और उनका टेक्स्ट कंटेंट प्रिंट करें
for tag in h1_tags:
print(tag.text)
except AttributeError as attr_err:
# उन मामलों को संभालें जहां AttributeError हो सकता है (जैसे कि response.content None हो)
print(f'Attribute error occurred: {attr_err}')
except Exception as parse_err:
# उन अन्य अपवादों को संभालें जो पार्सिंग के दौरान हो सकते हैं
print(f'Error while parsing HTML: {parse_err}')
सामग्री को पार्स करने के लिए एक और लोकप्रिय लाइब्रेरी lxml है। जबकि BeautifulSoup उपयोगकर्ता के अनुकूल है, lxml तेज़ और अधिक लचीला है, जो इसे परफॉर्मेंस-क्रिटिकल कार्यों के लिए आदर्श बनाता है।
from lxml.html import fromstring
import requests
# स्क्रैप करने के लिए वेबपेज का URL
url = 'https://example.com'
# URL पर एक HTTP GET अनुरोध भेजें
response = requests.get(url)
# lxml की fromstring विधि का उपयोग करके प्रतिक्रिया की HTML सामग्री को पार्स करें
parser = fromstring(response.text)
# XPath का उपयोग करके पहले <h1> टैग की टेक्स्ट सामग्री खोजें
# जो एक <div> टैग के भीतर है और <body> टैग का सीधा बच्चा है
title = parser.xpath('/html/body/div/h1/text()')[0]
# टाइटल प्रिंट करें
print(title)
Beautiful Soup की तरह, lxml आपको lxml.etree.XMLSyntaxError जैसे अपवादों को पकड़कर पार्सिंग त्रुटियों को सहजता से संभालने की अनुमति देता है।
from lxml.html import fromstring
from lxml import etree
import requests
# स्क्रैप करने के लिए वेबपेज का URL
url = 'https://example.com'
# URL पर एक HTTP GET अनुरोध भेजें
response = requests.get(url)
try:
# lxml की fromstring विधि का उपयोग करके प्रतिक्रिया की HTML सामग्री को पार्स करें
parser = fromstring(response.text)
# XPath का उपयोग करके पहले <h1> टैग की टेक्स्ट सामग्री खोजें
# जो एक <div> टैग के भीतर है और <body> टैग का सीधा बच्चा है
title = parser.xpath('/html/body/div/h1/text()')[0]
# टाइटल प्रिंट करें
print(title)
except IndexError:
# उस स्थिति को संभालें जब XPath क्वेरी कोई परिणाम न लौटाए
print('निर्दिष्ट स्थान पर कोई <h1> टैग नहीं मिला।')
except etree.XMLSyntaxError as parse_err:
# पार्सिंग के दौरान XML सिंटैक्स त्रुटियों को संभालें
print(f'Error while parsing HTML: {parse_err}')
except Exception as e:
# किसी भी अन्य अपवाद को संभालें
print(f'An unexpected error occurred: {e}')
एक बार जब आप सफलतापूर्वक डेटा निकाल लेते हैं, तो अगला चरण इस डेटा को सहेजना होता है। Python कई विकल्प प्रदान करता है जिनसे स्क्रैप किए गए डेटा को सहेजा जा सकता है, जिनमें CSV फाइलों, JSON फाइलों और डेटाबेस में सहेजना शामिल है। यहाँ विभिन्न फॉर्मेट्स का उपयोग करके निकाले गए डेटा को सहेजने का अवलोकन है:
CSV (Comma-Separated Values) एक सरल और व्यापक रूप से उपयोग किया जाने वाला फॉर्मेट है जिसका उपयोग सारणीबद्ध डेटा को संग्रहीत करने के लिए किया जाता है। Python का CSV मॉड्यूल डेटा को CSV फाइलों में लिखना आसान बना देता है।
import csv
# नमूना डेटा
data = {
'title': 'उदाहरण शीर्षक',
'paragraphs': ['पैराग्राफ 1', 'पैराग्राफ 2', 'पैराग्राफ 3']
}
# डेटा को CSV फाइल में सहेजें
with open('scraped_data.csv', mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['शीर्षक', 'पैराग्राफ'])
for paragraph in data['paragraphs']:
writer.writerow([data['title'], paragraph])
print('डेटा scraped_data.csv में सहेजा गया')
JSON (JavaScript Object Notation) एक हल्का डेटा-इंटरचेंज फॉर्मेट है जिसे पढ़ना और लिखना आसान है। Python का JSON मॉड्यूल JSON फॉर्मेट में डेटा सहेजने के लिए मेथड्स प्रदान करता है।
import json
# नमूना डेटा
data = {
'title': 'उदाहरण शीर्षक',
'paragraphs': ['पैराग्राफ 1', 'पैराग्राफ 2', 'पैराग्राफ 3']
}
# डेटा को JSON फाइल में सहेजें
with open('scraped_data.json', mode='w', encoding='utf-8') as file:
json.dump(data, file, ensure_ascii=False, indent=4)
print('डेटा scraped_data.json में सहेजा गया')
Playwright डायनेमिक कंटेंट को स्क्रैप करने और वेब एलिमेंट्स के साथ इंटरैक्ट करने के लिए एक शक्तिशाली टूल है। यह JavaScript-हेवी वेबसाइटों को संभाल सकता है जिन्हें स्टैटिक HTML पार्सर नहीं कर सकते।
Playwright इंस्टॉल करें और सेटअप करें:
pip install playwright
playwright install
Playwright आपको वेब एलिमेंट्स जैसे फॉर्म भरना और बटन क्लिक करना जैसी क्रियाएं करने की अनुमति देता है। यह AJAX अनुरोधों के पूरा होने का इंतजार कर सकता है, जिससे यह डायनेमिक कंटेंट स्क्रैप करने के लिए आदर्श बनता है।
दिया गया Python वेब स्क्रैपिंग कोड Playwright और lxml का उपयोग करके Amazon प्रोडक्ट पेज पर डेटा एक्सट्रैक्शन करता है। सबसे पहले, आवश्यक मॉड्यूल्स को इम्पोर्ट किया जाता है। एक run फंक्शन परिभाषित किया जाता है जो स्क्रैपिंग लॉजिक को समाहित करता है। यह फंक्शन एक प्रॉक्सी सर्वर सेट करके और प्रॉक्सी के साथ तथा नॉन-हेडलैस मोड में नया ब्राउज़र इंस्टेंस लॉन्च करके शुरू होता है, जिससे हम ब्राउज़र की गतिविधियाँ देख सकते हैं। ब्राउज़र कॉन्टेक्स्ट के भीतर, एक नया पेज खोला जाता है और निर्दिष्ट Amazon प्रोडक्ट URL पर नेविगेट किया जाता है, जिसमें 60 सेकंड का टाइमआउट होता है ताकि पेज पूरी तरह लोड हो सके।
इसके बाद स्क्रिप्ट पेज के साथ इंटरैक्ट करती है ताकि ड्रॉपडाउन मेनू से एक विशेष प्रोडक्ट स्टाइल और टेक्स्ट मैचिंग का उपयोग करके एक प्रोडक्ट विकल्प चुना जा सके। जब ये इंटरैक्शन पूरे हो जाते हैं और पेज पूरी तरह लोड हो जाता है, तो पेज की सामग्री कैप्चर कर ली जाती है।
इस सामग्री को फिर lxml के fromstring मेथड का उपयोग करके पार्स किया जाता है ताकि एक एलिमेंट ट्री बनाया जा सके। एक XPath क्वेरी का उपयोग करके productTitle ID वाले एक विशिष्ट एलिमेंट से प्रोडक्ट का शीर्षक निकाला जाता है। स्क्रिप्ट उन स्थितियों को संभालने के लिए डिज़ाइन की गई है जहां XPath क्वेरी कोई परिणाम नहीं देती, पार्सिंग के दौरान XML सिंटैक्स में समस्या होती है, या कोई और अप्रत्याशित समस्या आती है। अंत में, lxml के साथ निकाले गए प्रोडक्ट शीर्षक को प्रिंट किया जाता है, और ब्राउज़र कॉन्टेक्स्ट तथा स्वयं ब्राउज़र दोनों को सही तरीके से बंद कर दिया जाता है ताकि सेशन समाप्त हो सके।
run फंक्शन को sync_playwright द्वारा शुरू किए गए Playwright सेशन के भीतर निष्पादित किया जाता है, जिससे यह सुनिश्चित होता है कि संपूर्ण प्रक्रिया एक नियंत्रित वातावरण के भीतर प्रबंधित और निष्पादित हो। यह संरचना वेब स्क्रैपिंग कार्य करते समय मजबूती और त्रुटि-प्रतिरोध सुनिश्चित करती है।
from playwright.sync_api import Playwright, sync_playwright
from lxml.html import fromstring, etree
def run(playwright: Playwright) -> None:
# प्रॉक्सी सर्वर परिभाषित करें
proxy = {"server": "https://IP:PORT", "username": "LOGIN", "password": "PASSWORD"}
# दिए गए प्रॉक्सी के साथ और नॉन-हेडलैस मोड में नया ब्राउज़र इंस्टेंस लॉन्च करें
browser = playwright.chromium.launch(
headless=False,
proxy=proxy,
slow_mo=50,
args=['--ignore-certificate-errors'],
)
# नया ब्राउज़र कॉन्टेक्स्ट बनाएँ
context = browser.new_context(ignore_https_errors=True)
# ब्राउज़र कॉन्टेक्स्ट में नया पेज खोलें
page = context.new_page()
# निर्दिष्ट Amazon प्रोडक्ट पेज पर नेविगेट करें
page.goto(
"https://www.amazon.com/A315-24P-R7VH-Display-Quad-Core-Processor-Graphics/dp/B0BS4BP8FB/",
timeout=10000,
)
# पेज के पूरी तरह लोड होने का इंतजार करें
page.wait_for_load_state("load")
# ड्रॉपडाउन मेनू से एक विशेष प्रोडक्ट स्टाइल चुनें
page.locator("#dropdown_selected_style_name").click()
# एक विशेष प्रोडक्ट विकल्प चुनें
page.click('//*[@id="native_dropdown_selected_style_name_1"]')
page.wait_for_load_state("load")
# लोड किए गए पेज की HTML सामग्री प्राप्त करें
html_content = page.content()
try:
# कच्चे HTML को एलिमेंट ट्री में बदलने के लिए lxml का fromstring उपयोग करें
parser = fromstring(html_content)
# XPath का उपयोग करके प्रोडक्ट शीर्षक निकालें
product_title = parser.xpath('//span[@id="productTitle"]/text()')[0].strip()
# निकाला गया प्रोडक्ट शीर्षक प्रिंट करें
print({"Product Title": product_title})
except IndexError:
# उस स्थिति को संभालें जब XPath क्वेरी कोई परिणाम न दे
print('निर्दिष्ट स्थान पर प्रोडक्ट शीर्षक नहीं मिला।')
except etree.XMLSyntaxError as parse_err:
# पार्सिंग के दौरान XML सिंटैक्स त्रुटियों को संभालें
print(f'HTML पार्स करते समय त्रुटि: {parse_err}')
except Exception as e:
# अन्य किसी भी अपवाद को संभालें
print(f'एक अप्रत्याशित त्रुटि हुई: {e}')
# ब्राउज़र कॉन्टेक्स्ट और ब्राउज़र बंद करें
context.close()
browser.close()
# sync_playwright का उपयोग करके Playwright सेशन शुरू करें और स्क्रिप्ट चलाएँ
with sync_playwright() as playwright:
run(playwright)
Python के साथ वेब स्क्रैपिंग वेबसाइटों से डेटा एकत्र करने की एक शक्तिशाली विधि है। जिन टूल्स पर चर्चा की गई है, वे विभिन्न उद्देश्यों के लिए वेब डेटा के एक्सट्रैक्शन, प्रोसेसिंग और स्टोरेज को आसान बनाते हैं। इस प्रक्रिया में, प्रॉक्सी सर्वर का उपयोग करके IP एड्रेस बदलना और अनुरोधों के बीच देरी लागू करना ब्लॉक्स को बायपास करने के लिए महत्वपूर्ण है। Beautiful Soup शुरुआती लोगों के लिए उपयोगकर्ता-अनुकूल है, जबकि lxml अपनी दक्षता के कारण बड़े डेटासेट संभालने के लिए उपयुक्त है। अधिक उन्नत स्क्रैपिंग आवश्यकताओं के लिए, खासकर डायनामिकली लोड की गई JavaScript वेबसाइटों के लिए, Playwright अत्यधिक प्रभावी साबित होता है।
यह Python वेब स्क्रैपिंग ट्यूटोरियल Beautiful Soup, lxml और Playwright जैसी लाइब्रेरीज़ का उपयोग करके स्वचालित डेटा एक्सट्रैक्शन के व्यावहारिक तरीकों की रूपरेखा प्रस्तुत करता है। तकनीकी रूप से, Python वेब स्क्रैपिंग का अर्थ है Python-आधारित टूल्स का उपयोग करके व्यवस्थित रूप से वेबसाइटों से संरचित डेटा प्राप्त करना और प्रोसेस करना।
चाहे आप स्टैटिक कंटेंट के साथ काम कर रहे हों या JavaScript-रेंडर्ड पेजों के साथ, हर काम के लिए एक Python टूल मौजूद है। HTTP अनुरोध सीखकर, पार्सिंग में महारत हासिल करके और डेटा एक्सट्रैक्शन को समझकर, आप विश्वसनीय स्क्रेपर्स बनाने के लिए तैयार हैं।
जैसे-जैसे आप आगे बढ़ते हैं, नैतिक स्क्रैपिंग प्रथाओं का पालन करना याद रखें – robots.txt का सम्मान करें, सर्वरों को ओवरलोड करने से बचें, और हमेशा डेटा को जिम्मेदारी से हैंडल करें। एक मजबूत नींव के साथ, अब आप आत्मविश्वास से अपने स्क्रैपिंग प्रोजेक्ट्स विकसित करना शुरू कर सकते हैं और वेब डेटा की पूरी क्षमता को अनलॉक कर सकते हैं।
टिप्पणियाँ: 0