BeautifulSoup网页抓取返回空文本的解决方法

如何解决 BeautifulSoup 网页抓取返回空文本的问题？

遇到 BeautifulSoup 抓取返回空文本？别急着怀疑解析逻辑，先看看 HTTP 请求是不是被重定向“截胡”了。

使用 requests 搭配 BeautifulSoup 抓取网页时，代码看起来差不多，但换一个网站就可能翻车——这种经历不少人都遇到过。问题的根源往往不是你写错了解析规则，而是底层 HTTP 请求中一个容易被忽略的细节：重定向（Redirect）。

在提供的代码中，把 allow_redirects=False 写死了。这会导致什么后果？当目标服务器返回 301 或 302 状态码时，requests.get() 会立刻停下来，返回那个跳转响应本身——而它通常只包含重定向头信息，几乎没有实际 HTML 主体。BeautifulSoup 拿到一个空壳解析，自然吐不出任何文本。

以目标网址 https://www.diabete.qc.ca/en/... 为例，这个站点会主动把请求重定向到带尾部斜杠的规范 URL（比如 …/female-sexuality-and-diabetes/ 可能触发内部路径标准化或 CDN 路由）。如果禁用了重定向，返回的 response.status_code 大概率是 301 或 302，response.content 几乎为空——soup.get_text() 返回空字符串，一点也不意外。

解决思路：启用重定向并优化基础代码

启用重定向，默认就是 True，但最好显式写出来，顺便把基础代码优化一下：

import requests
from bs4 import BeautifulSoup

current_url = "https://www.diabete.qc.ca/en/understand-diabetes/all-about-diabetes/complications/female-sexuality-and-diabetes/"

try:
    #  允许重定向（关键修复），移除不必要的 verify=False（生产环境建议验证证书）
    response = requests.get(
        current_url,
        headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
    )
    response.raise_for_status()  # 检查 HTTP 错误状态码（如 404、500）

    soup = BeautifulSoup(response.content, 'html.parser')  # 直接传 bytes，避免手动 decode/encode
    text = soup.get_text(" ", strip=True)
    print(f"成功提取 {len(text)} 字符文本")
    print(text[:200] + "...")  # 预览前 200 字符

except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

关键注意事项

• allow_redirects=True 是默认行为，显式写出来更清晰。禁用它只适用于需要手动控制跳转逻辑的特殊场景。
• response.content 是原始字节流，直接传给 BeautifulSoup（配合 html.parser）比先 decode() 再处理更安全可靠——后者容易碰上编码异常，而现代网页绝大多数都是 UTF-8，不需要额外处理重音字符。
• 始终调用 response.raise_for_status() 检查网络错误或服务端异常，避免静默失败。
• verify=False 会禁用 SSL 证书验证，存在安全风险，仅限调试；生产环境请确保系统证书可信，或者指定 cert= 参数。

总结

当 BeautifulSoup 返回空结果时，第一步不是去调试解析逻辑，而是先检查 response.status_code 是否为 200，并确认 response.content 是否包含有效 HTML。重定向配置，是新手最容易忽略、却影响最大的基础设置。把这个搞定了，很多“空文本”问题就能迎刃而解。