ازگر کے ساتھ والمارٹ ڈیٹا کو کھرچنے کے لئے رہنما

pip install requests
pip install  lxml
pip install urllib3

import requests
from lxml import html
import csv
import random
import urllib3
import ssl

product_urls = [
    'link with https',
    'link with https',
    'link with https'
]

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]

proxy = [
    '<ip>:<port>',
    '<ip>:<port>',
    '<ip>:<port>',
]

headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'en-IN,en;q=0.9',
    'dnt': '1',
    'priority': 'u=0, i',
    'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Linux"',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'none',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
}

product_details = []

for url in product_urls:
   headers['user-agent'] = random.choice(user_agents)
   proxies = {
       'http': f'http://{random.choice(proxy)}',
       'https': f'http://{random.choice(proxy)}',
   }
   try:
       # یو آر ایل کو ایک HTTP حاصل کریں درخواست بھیجیں
       response = requests.get(url=url, headers=headers, proxies=proxies, verify=False)
       print(response.status_code)
       response.raise_for_status()
   except requests.exceptions.RequestException as e:
       print(f'Error fetching data: {e}')

   # LXML کا استعمال کرتے ہوئے HTML مواد کی تجزیہ کریں
   parser = html.fromstring(response.text)
   # مصنوعات کا عنوان نکالیں
   title = ''.join(parser.xpath('//h1[@id="main-title"]/text()'))
   # مصنوعات کی قیمت نکالیں
   price = ''.join(parser.xpath('//span[@itemprop="price"]/text()'))
   # جائزہ لینے کی تفصیلات نکالیں
   review_details = ''.join(parser.xpath('//div[@data-testid="reviews-and-ratings"]/div/span[@class="w_iUH7"]/text()'))

   # ایک لغت میں اسٹور نکالے گئے تفصیلات
   product_detail = {
       'title': title,
       'price': price,
       'review_details': review_details
   }
   # فہرست میں مصنوعات کی تفصیلات شامل کریں
   product_details.append(product_detail)

with open('walmart_products.csv', 'w', newline='') as csvfile:
    fieldnames = ['title', 'price', 'review_details']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for product_detail in product_details:
        writer.writerow(product_detail)

import requests
from lxml import html
import csv
import random
import urllib3
import ssl

ssl._create_default_https_context = ssl._create_stdlib_context
urllib3.disable_warnings()


# کھرچنے کیلئے پروڈکٹ یو آر ایل کی فہرست
product_urls = [
   'link with https',
   'link with https',
   'link with https'
]

# گمنامی کے لئے بے ترتیب صارف ایجنٹ ڈور
user_agents = [
   'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
   'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
   'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]

# IP گردش کے لئے پراکسی فہرست
proxy = [
    '<ip>:<port>',
    '<ip>:<port>',
    '<ip>:<port>',
]


# براؤزر کی درخواستوں کی نقالی کرنے کے لئے ہیڈر
headers = {
   'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
   'accept-language': 'en-IN,en;q=0.9',
   'dnt': '1',
   'priority': 'u=0, i',
   'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
   'sec-ch-ua-mobile': '?0',
   'sec-ch-ua-platform': '"Linux"',
   'sec-fetch-dest': 'document',
   'sec-fetch-mode': 'navigate',
   'sec-fetch-site': 'none',
   'sec-fetch-user': '?1',
   'upgrade-insecure-requests': '1',
}

# مصنوعات کی تفصیلات کو ذخیرہ کرنے کے لئے خالی فہرست کا آغاز کریں
product_details = []

# ہر پروڈکٹ یو آر ایل کے ذریعے لوپ
for url in product_urls:
   headers['user-agent'] = random.choice(user_agents)
   proxies = {
       'http': f'http://{random.choice(proxy)}',
       'https': f'http://{random.choice(proxy)}',
   }
   try:
       # یو آر ایل کو ایک HTTP حاصل کریں درخواست بھیجیں
       response = requests.get(url=url, headers=headers, proxies=proxies, verify=False)
       print(response.status_code)
       response.raise_for_status()
   except requests.exceptions.RequestException as e:
       print(f'Error fetching data: {e}')

   # LXML کا استعمال کرتے ہوئے HTML مواد کی تجزیہ کریں
   parser = html.fromstring(response.text)
   # مصنوعات کا عنوان نکالیں
   title = ''.join(parser.xpath('//h1[@id="main-title"]/text()'))
   # مصنوعات کی قیمت نکالیں
   price = ''.join(parser.xpath('//span[@itemprop="price"]/text()'))
   # جائزہ لینے کی تفصیلات نکالیں
   review_details = ''.join(parser.xpath('//div[@data-testid="reviews-and-ratings"]/div/span[@class="w_iUH7"]/text()'))

   # ایک لغت میں اسٹور نکالے گئے تفصیلات
   product_detail = {
       'title': title,
       'price': price,
       'review_details': review_details
   }
   # فہرست میں مصنوعات کی تفصیلات شامل کریں
   product_details.append(product_detail)

# نکالا ہوا ڈیٹا CSV فائل میں لکھیں
with open('walmart_products.csv', 'w', newline='') as csvfile:
   fieldnames = ['title', 'price', 'review_details']
   writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
   writer.writeheader()
   for product_detail in product_details:
       writer.writerow(product_detail)