使用BeautifulSoup高效抓取多URL数据：避免覆盖与处理分页

本教程旨在解决使用beautifulsoup从多个url抓取数据时，常见的数据覆盖问题。文章将详细阐述如何通过将每次循环获取的数据累积到列表中来有效存储，并进一步介绍如何结合循环逻辑处理网站分页，从而实现对目标网站全面且结构化的数据提取。

在进行网络数据抓取时，我们经常需要从多个相似的网页中提取信息。例如，从多个航空公司的评论页面抓取用户评价。然而，一个常见的陷阱是，当我们在循环中处理每个URL时，如果不对数据进行适当的累积，往往只会保留最后一个URL的数据，而之前的数据则会被覆盖。本文将深入探讨这一问题，并提供两种解决方案：一是通过列表累积数据，二是通过结合分页处理获取网站所有页面数据。

核心问题分析：数据覆盖的根源

原始代码片段展示了一个典型的错误：

for ending in endings:
    url = base_url + ending
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'html.parser')
    results = soup.find('div', id='container') # 每次循环都会重新赋值
# ...
titles = results.find_all('h2', class_='text_header') # 每次循环都会重新赋值
# ...
for title in titles:
    print(title, end="\n"*2) # 仅打印当前（最后一次循环）的titles

问题出在 results 和 titles 这两个变量。在 for ending in endings: 循环的每次迭代中，它们都会被当前URL抓取到的新数据所覆盖。当循环结束后，results 和 titles 变量中存储的，仅仅是最后一个URL（在本例中是“alaska-airlines”）对应的数据。之前所有航空公司的数据都被丢弃了。

解决方案一：累积数据到列表

要解决数据覆盖问题，关键在于在循环开始前初始化一个空的数据结构（例如列表），然后在每次循环中将提取到的数据追加到这个结构中。这样，所有URL的数据都能被保存下来。

以下是使用列表累积数据的改进代码示例，它不仅解决了数据覆盖问题，还优化了数据提取方式，并增加了错误处理机制：

import requests
from bs4 import BeautifulSoup
import pandas as pd # 导入Pandas用于数据整理
import time # 导入time模块用于设置请求间隔

# 定义基础URL和航空公司后缀
base_url = 'https://www.airlinequality.com/airline-reviews/'
endings = ['american-airlines', 'delta-air-lines', 'united-airlines',
           'southwest-airlines', 'alaska-airlines']

# 初始化一个空列表，用于存储所有抓取到的评论数据
all_reviews_data = []

# 遍历每个航空公司的URL后缀
for ending in endings:
    url = base_url + ending
    print(f"正在抓取 {ending} ({url}) 的评论数据...")

    try:
        # 发送HTTP GET请求，并设置超时时间
        r = requests.get(url, timeout=10)
        # 检查请求是否成功（状态码200）
        r.raise_for_status() 
    except requests.exceptions.RequestException as e:
        print(f"请求 {url} 失败: {e}，跳过当前航空公司。")
        time.sleep(1) # 请求失败也稍作等待
        continue # 跳过当前URL，继续处理下一个

    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(r.content, 'html.parser')

    # 使用CSS选择器更精确地定位评论区块
    # 'article[itemprop="review"]' 通常能定位到每个独立的评论容器
    reviews = soup.select('article[itemprop="review"]')

    if not reviews:
        print(f"在 {url} 未找到评论。")
        time.sleep(1)
        continue

    for review_item in reviews:
        # 提取评论标题
        title_element = review_item.h2
        title = title_element.text.strip() if title_element else "N/A"

        # 提取评论星级评分
        rating_element = review_item.select_one('span[itemprop="ratingValue"]')
        rating = rating_element.text.strip() if rating_element else "N/A"

        # 将提取到的数据以字典形式添加到列表中
        all_reviews_data.append({
            'airline': ending,
            'title': title,
            'rating': rating
        })

    time.sleep(2) # 设置请求间隔，避免对服务器造成过大压力

print("\n所有航空公司评论数据抓取完成。")

# 将列表转换为Pandas DataFrame，便于后续的数据分析、筛选和导出
df = pd.DataFrame(all_reviews_data)
print("部分抓取结果：")
print(df.head())
print(f"\n共抓取到 {len(df)} 条评论数据。")

代码解析与优化点：

all_reviews_data = []: 在循环外部初始化一个空列表，这是确保所有数据被收集的关键。
all_reviews_data.append({...}): 在内层循环中，每次成功提取一个评论的数据后，将其以字典的形式追加到 all_reviews_data 列表中。
soup.select('article[itemprop="review"]'): 相较于 find 和 find_all 的组合，使用CSS选择器 select (或 select_one) 通常更为简洁和高效，能够更精确地定位到目标元素。这里直接定位到每个带有 itemprop="review" 属性的 article 标签，这些标签通常是独立评论的容器。
错误处理: 增加了 try-except requests.exceptions.RequestException 块来捕获网络请求可能出现的错误（如连接超时、DNS解析失败等），提高了代码的健壮性。
数据清洗与健壮性: 使用 .strip() 清除文本两端的空白符。通过 if element else "N/A" 的方式，避免因某些元素不存在而导致程序崩溃，并用“N/A”填充缺失值。
请求间隔: time.sleep(2) 在每次请求之间设置了2秒的延迟，这是爬虫的良好实践，有助于避免对目标网站造成过大压力，降低被封禁的风险。
Pandas DataFrame: 抓取到的结构化数据非常适合转换为Pandas DataFrame，这为后续的数据清洗、分析和导出（如保存为CSV、Excel文件）提供了极大的便利。

解决方案二：处理多页数据抓取

许多网站的数据是分页显示的。如果仅仅抓取每个航空公司的第一个页面，会遗漏大量信息。要获取所有页面的数据，我们需要在上述单页抓取的基础上，增加一个内部循环来遍历所有分页链接。

这通常涉及以下步骤：

构建初始页面的URL：明确每个航空公司第一页的URL结构。
内层 while True 循环：用于在找到“下一页”链接时持续抓取。
查找“下一页”链接：在当前页面解析HTML，找到指向下一页的链接元素。
更新URL并继续：如果找到“下一页”链接，则更新当前页面的URL为下一页的URL，并继续内层循环。
跳出循环：如果未找到“下一页”链接，则表示已到达最后一页，跳出内层循环，开始处理下一个航空公司。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time

base_url = 'https://www.airlinequality.com' # 注意这里是网站的根域名
endings = ['american-airlines', 'delta-air-lines', 'united-airlines',
           'southwest-airlines', 'alaska-airlines']

all_reviews_data_paginated = []

# 遍历每个航空公司
for ending in endings:
    # 构建当前航空公司的第一个页面的URL
    # 注意：网站分页URL结构可能不同，需根据实际情况调整
    current_page_url = f'{base_url}/airline-reviews/{ending}/page/1/?sortby=post_date%3ADesc&pagesize=100'
    page_num = 1
    print(f"\n开始抓取航空公司: {ending} 的多页评论数据...")

    while True:
        print(f"  正在抓取 {ending} 的第 {page_num} 页: {current_page_url}")

        try:
            r = requests.get(current_page_url, timeout=15)
            r.raise_for_status()
        except requests.exceptions.RequestException as e:
            print(f"  请求 {current_page_url} 失败: {e}，跳过当前航空公司剩余页面。")
            break # 当前页面失败，跳出内层循环，尝试下一个航空公司

        soup = BeautifulSoup(r.content, 'html.parser')

        reviews = soup.select('article[itemprop="review"]')
        if not reviews:
            print(f"  在 {ending} 第 {page_num} 页未找到评论，可能已到达最后一页或页面结构有变。")
            break # 如果当前页面没有评论，则认为已到末尾

        for review_item in reviews:
            title_element = review_item.h2
            rating_element = review_item.select_one('span[itemprop="ratingValue"]')

            title = title_element.text.strip() if title_element else "N/A"
            rating = rating_element.text.strip() if rating_element else "N/A"

            all_reviews_data_paginated.append({
                'airline': ending,
                'title': title,
                'rating': rating,
                'page': page_num # 记录数据来源页码
            })

        # 查找“下一页”链接
        # 示例中提供的是 'article.comp_reviews-pagination ul li

# css # excel # html # app # csv # ai # 爬虫 # dns # 数据清洗 # 状态码 # css选择器 # dns解析失败 # beautifulsoup # pandas # if # for # while # select # try # 循环 # 数据结构 # append # 选择器 # 下一页 # 分页 # 多个 # 遍历 # 这是 # 跳过 # 第一个 # 未找到 # 过大 # 转换为

返回目录在线咨询

上一篇：iOS 实现简单的加载等待动画示例（思路与实现）
下一篇：陕西高端建站：如何选择最适合企业的网站建设公司？

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

全网整合营销服务商

使用BeautifulSoup高效抓取多URL数据：避免覆盖与处理分页

核心问题分析：数据覆盖的根源

解决方案一：累积数据到列表

解决方案二：处理多页数据抓取

您的项目需求