从零开始学Python爬虫：7步轻松抓取网页数据
在信息化时代，数据就是生产力。无论是市场调研、竞品分析，还是学术研究，从网页中自动提取数据已经成为一项必备技能。Python作为最流行的编程语言之一，凭借其简洁的语法和强大的第三方库，成为了爬虫开发的首选工具。本文将通过7个具体步骤，带你从零开始构建一个可用的爬虫程序，轻松抓取目标数据。
准备工作：环境搭建在开始编码之前，请确保你的电脑已经安装了Python 3.7及以上版本。推荐使用Anaconda发行版，因为它内置了多数科学计算库。接着，打开终端或命令提示符，输入以下命令安装必要的库：
pip install requests beautifulsoup4 lxml
requests用于发送HTTP请求，beautifulsoup4用于解析HTML文档，lxml则提供高性能的解析引擎。安装完成后，我们就有了最基本的三件套。
爬虫的本质是模拟浏览器去获取服务器返回的HTML代码。在动手写代码前，务必先打开你目标的网页，按下F12键进入开发者工具。点击“Elements”或“元素”标签，你可以看到整个网页的HTML骨架。例如，你想抓取一个新闻网站的标题，你需要找到标题对应的标签，通常是<h1>或<h2>，并注意它的CSS选择器（如class或id）。这一步骤是后续解析的基础，千万不要盲目写代码。
使用requests库向目标URL发送请求。最简单的GET请求代码如下：
import requests
url = "https://example.com/news"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
print(response.status_code) # 200表示成功
注意，很多网站会校验请求头，如果未设置User-Agent，服务器可能会拒绝访问或返回403错误。这里我们模拟了浏览器标识，以提高请求成功率。
拿到响应内容后，我们需要用BeautifulSoup进行解析。它可以将复杂的HTML转化为一个可操作的对象树。以下是一个简单的解析示例：
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, "lxml")
# 假设标题存放在 class="article-title" 的h1标签中
title = soup.find("h1", class_="article-title")
if title:
print("标题内容：", title.get_text(strip=True))
else:
print("未找到指定元素")
通过find或find_all方法可以精准定位标签。根据第一步中观察到的结构，灵活调整选择器即可。
抓取到的原始数据往往包含大量空白字符、换行符或不需要的HTML标签。使用strip=True可以去除首尾空白，而replace方法可以处理特殊符号。如果你需要抓取多个字段（如标题、发布时间、作者），可以将其组织成一个字典或列表。
单个页面可能只包含少量数据。为了批量获取，通常需要遍历多个页面。观察URL规律，比如每页不同页码。利用for循环构造新URL即可：
for page in range(1, 6): # 抓取前5页
page_url = f"https://example.com/news?page={page}"
# 重复上面的请求和解析代码
print(f"正在抓取第{page}页...")
注意在两次请求之间添加time.sleep(1)，避免对目标服务器造成过大压力，同时降低被封IP的风险。
抓取后的数据需要持久化。最简单的方案是保存为CSV文件，方便Excel打开。使用Python内置的csv模块可以轻松实现：
import csv
with open("output.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["标题", "链接"]) # 写入表头
writer.writerow([title_text, url]) # 写入数据行
对于更庞大的数据量，可以考虑存入SQLite或MySQL数据库，后续查询更方便。
第七步：异常处理与反爬策略（健壮性提升）网络请求不可控，必须捕获异常。使用try...except处理超时和连接错误。此外，常见的反爬手段包括IP频率限制、使用验证码等。对于频率限制，可以设置延时；对于更复杂的保护，可能需要学习使用代理IP池或模拟登录。这里提供一个基本的异常处理框架：
try:
response = requests.get(url, headers=headers, timeout=5)
response.raise_for_status() # 触发异常处理
except requests.exceptions.Timeout:
print("请求超时，跳过该页面")
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
进阶技巧与注意事项
爬虫技术虽好，但务必遵守Robots协议（查看目标网站/robots.txt）和相关法律法规。只抓取公开数据，不用于违法用途。此外，遇到动态加载的网站（即数据通过JavaScript渲染），单纯依靠requests可能无法获取。此时可以借助Selenium或Playwright模拟浏览器操作，但这个属于进阶内容，本文不再展开。
通过以上七步，你已经可以从零编写一个基本的Python爬虫程序。从发送请求、解析HTML，到数据清洗和存储，形成一个完整的处理链路。记住，实践是检验真理的唯一标准。找一个你感兴趣的网站，从最简单的静态页面开始，动手尝试编写你的第一个爬虫程序。随着经验的积累，再逐步攻克动态渲染、登录验证等更复杂的问题。