python3环境

先安装所需的库

pip install requests beautifulsoup4 pymysql

import requests
from bs4 import BeautifulSoup
from datetime import datetime
import pymysql

# 定义要爬取的目标 URL
url = 'https://clients.zgovps.com/index.php?/cart/special-offer/'
# 设置请求头，模仿浏览器访问
headers = {
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36',
 }
db_config = {
    'host': 'ip',           # 数据库主机
    'user': 'user',       # 替换为你的数据库用户名
    'password': 'password',   # 替换为你的数据库密码
    'database': 'database',        # 使用的数据库
    'charset': 'utf8mb4',          # 设置字符集
}
# 发送 GET 请求获取网页内容
response = requests.get(url, headers=headers)
# 使用 BeautifulSoup 解析 HTML 文档，指定解析器为 'html.parser'
html_doc = response.text
soup = BeautifulSoup(html_doc, 'html.parser')
# 查找所有符合条件的商品名称（根据 HTML 标签 'strong' 和类名 'mb-3'）
shop_names = soup.find_all('strong',class_='mb-3')
# 查找所有商品价格，使用 'option' 标签来提取价格信息
shop_prices = soup.find_all('option')
# 查找所有库存信息，使用 'button' 标签来提取库存状态
shop_stocks = soup.find_all('button')
#  查找所有符合条件的商品详情（根据 HTML 标签 'div' 和类名 'my-3'）
shop_details = soup.find_all('div', class_='my-3')
# 获取当前时间
current_date = datetime.now().strftime('%Y-%m-%d %H:%M:%S')




def w_txt(shop_names, shop_prices, shop_stocks, shop_details, current_date):
    date = datetime.now().strftime('%Y-%m-%d')
    file_path = f'{date}.txt'
    # 打开一个文件，以写入模式写入解析出的数据，并确保使用 UTF-8 编码,'a'表示追加
    with open(file_path, 'a', encoding='utf-8') as f:
        # 写入当前日期和时间
        f.write(f"Date: \n{current_date}\n")
        f.write("=" * 40 + "\n")
        for i in range(len(shop_names)):
            f.write(f"Product: {shop_names[i].text}\n")
            li_items = shop_details[i].find_all('li')
            formatted_detail = '\n'.join([li.text.strip() for li in li_items])  # 合并所有 <li> 标签的文本，使用换行符分隔
            f.write(f"Detail:\n{formatted_detail}\n")
            f.write(f"Price: {shop_prices[i].text}\n")
            f.write(f"Stock Status: {shop_stocks[i].text}\n")
            f.write("-" * 40+"\n")
    # 打印提示信息，表示操作完成
    print(f"数据已成功写入{date}文件.")

def w_mysql(db_config,shop_names, shop_prices, shop_stocks, shop_details, current_date):
    # 创建数据库连接
    try:
        connection = pymysql.connect(**db_config)
        cursor = connection.cursor()

        # 插入数据到数据库
        for i in range(len(shop_names)):
            product_name = shop_names[i].text.strip()

            # 提取每个商品的详细信息并格式化
            detail_div = shop_details[i]
            li_items = detail_div.find_all('li')
            detail = '\n'.join([li.text.strip() for li in li_items])

            price = shop_prices[i].text.strip()
            stock_status = shop_stocks[i].text.strip()

            # 插入记录
            insert_query = """
            INSERT INTO zgo (product_name, details, price, stock_status, date_added)
            VALUES (%s, %s, %s, %s, %s)
            """
            cursor.execute(insert_query, (product_name, detail, price, stock_status, current_date))

        # 提交事务
        connection.commit()
        print("数据已成功插入到数据库.")

    except pymysql.MySQLError as err:
        print(f"数据库错误: {err}")
    finally:
        # 关闭连接
        if connection:
            cursor.close()
            connection.close()


w_txt(shop_names, shop_prices, shop_stocks, shop_details, current_date)

w_mysql(db_config,shop_names, shop_prices, shop_stocks, shop_details, current_date)