数据采集与融合技术实践作业一

作业1：大学排名数据爬取

作业代码和图片

• 主要代码

import urllib.request
from bs4 import BeautifulSoup
import re  # 导入正则表达式模块# 指定要爬取的URL
url = 'http://www.shanghairanking.cn/rankings/bcur/2020'# 发送请求获取网页内容
response = urllib.request.urlopen(url)
html_content = response.read().decode('utf-8')# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, 'html.parser')# 找到存放排名信息的表格（假设表格在页面中唯一或具有特定的class属性）
table = soup.find('table')# 提取表格中的所有行
rows = table.find_all('tr')# 打印表头
print(f"{'排名':<5}{'学校名称':<10}{'省市':<10}{'学校类型':<10}{'总分':<10}")# 遍历每一行，提取并打印所需信息
for row in rows[1:]:  # 跳过表头行cols = row.find_all('td')if len(cols) >= 5:  # 确保每行至少有5列数据rank = cols[0].get_text(strip=True)# 使用正则表达式只保留中文字符，去掉英文部分university_name = re.findall(r'[\u4e00-\u9fa5]+', cols[1].get_text(strip=True))[0]province_city = cols[2].get_text(strip=True)university_type = cols[3].get_text(strip=True)total_score = cols[4].get_text(strip=True)# 格式化输出print(f"{rank:<5}{university_name:<10}{province_city:<10}{university_type:<10}{total_score:<10}")

• 运行结果

作业心得

通过此次作业，我深入理解了如何使用requests库发送HTTP请求，并使用BeautifulSoup解析HTML文档。数据提取的过程让我体会到了网络爬虫的强大与灵活性。同时，我也认识到在爬取数据时要遵循网站的规则，以避免对网站造成负担。

作业2：商城爬虫

作业代码和图片

• 主要代码

import urllib.request
from bs4 import BeautifulSoup
import reBASE_URL = "http://search.dangdang.com/?key=%E4%B9%A6%E5%8C%85&act=input"def get_html(url):#获取指定url的HTML内容head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.3.5211 SLBChan/123"}request = urllib.request.Request(url, headers=head)try:response = urllib.request.urlopen(request)return response.read().decode('gbk')except urllib.error.URLError as e:if hasattr(e, "code"):print(e.code)if hasattr(e, "reason"):print(e.reason)return Nonedef get_data_from_html(html):#从HTML内容中提取商品名称和价格soup = BeautifulSoup(html, "html.parser")names = []prices = []for items in soup.find_all('p', attrs={"class": "name", "name": "title"}):for name in items.find_all('a'):title = name['title']names.append(title)for item in soup.find_all('span', attrs={"class": "price_n"}):price = item.stringprices.append(price)return names, pricesdef print_goods_info(names, prices):#打印商品名称和价格信息print("序号\t\t\t", "价格\t\t\t", "商品名\t\t")for i, (name, price) in enumerate(zip(names, prices)):# 去除多余的空白字符name = re.sub(r'\s+', ' ', name)# 提取数字和小数点price = re.findall(r'[\d.]+', price)if price:print(f"{i + 1}\t\t\t {price[0]}\t\t\t{name}")def main():names = []prices = []for i in range(1, 3):  # 爬取1-2页的内容url = BASE_URL + "&page_index=" + str(i)html = get_html(url)if html:page_names, page_prices = get_data_from_html(html)names.extend(page_names)prices.extend(page_prices)print_goods_info(names, prices)if __name__ == "__main__":main()

• 运行结果

作业心得

在这次作业中，我学习了如何使用re库进行正则表达式匹配，从网页中提取特定的数据。同时，我也意识到需要根据具体网页结构进行调整，灵活性是编写爬虫的关键。

作业3：爬取网页JPEG和JPG格式文件

作业代码和图片

• 主要代码

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin# 要爬取的URL
url = 'https://news.fzu.edu.cn/yxfd.htm'# 发送请求获取网页内容
response = requests.get(url)
html_content = response.content# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, 'html.parser')# 创建存储图片的文件夹
folder_name = 'downloaded_images'
if not os.path.exists(folder_name):os.makedirs(folder_name)# 查找所有的图片链接（JPEG 和 JPG）
img_tags = soup.find_all('img')# 遍历所有图片标签，下载JPEG和JPG格式的图片
for img in img_tags:img_url = img.get('src')# 确保img_url不为空if img_url:# 将相对链接转换为绝对链接img_url = urljoin(url, img_url)# 只下载JPEG和JPG格式的图片if img_url.lower().endswith(('.jpg', '.jpeg')):# 获取图片的名称img_name = os.path.basename(img_url)# 下载图片并保存到本地img_data = requests.get(img_url).contentimg_path = os.path.join(folder_name, img_name)with open(img_path, 'wb') as handler:handler.write(img_data)print(f"已下载图片: {img_name}")print("所有图片下载完成！")

• 运行结果
  
  

作业心得

在这次作业中，我学会了使用Python爬取网页上的图片。通过BeautifulSoup解析网页，快速提取所有<img>标签的链接。使用urljoin将相对链接转换为绝对链接，确保下载的图片有效。