数据采集第一次作业

作业①:

要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020）的数据，屏幕打印爬取的大学排名信息。
实现关键代码：

点击查看代码

response = urllib.request.urlopen(url)
html = response.read()# 使用BeautifulSoup解析网页
soup = BeautifulSoup(html, 'html.parser')# 找到包含大学排名的表格
table = soup.find('table', {'class': 'rk-table'})# 打印表头
print(f"{'排名':<6} {'学校名称':<20} {'省市':<10} {'学校类型':<10} {'总分':<6}")# 遍历表格中的每一行
for row in table.find('tbody').find_all('tr'):cols = row.find_all('td')# 提取每列数据rank = cols[0].get_text().strip()        # 排名name = cols[1].get_text().strip()        # 学校名称province = cols[2].get_text().strip()    # 省市category = cols[3].get_text().strip()    # 学校类型score = cols[4].get_text().strip()       # 总分# 打印排名信息print(f"{rank:<6} {name:<20} {province:<10} {category:<10} {score:<6}")

完成图片：

心得：

这个任务增强了我对网页爬虫基本流程的理解，也让我意识到网络数据的结构化与清理是数据分析中非常重要的一步。

作业②:

要求：用requests和re库方法设计某个商城（自已选择）商品比价定向爬虫，爬取该商城，以关键词“书包”搜索页面的数据，爬取商品名称和价格。
代码：

点击查看代码

def getHTMLText(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0'}try:req = urllib.request.Request(url, headers=headers)with urllib.request.urlopen(req) as response:data = response.read().decode()return dataexcept Exception as err:print(f"Error fetching data from {url}: {err}")return ""def parsePage(uinfo, data):plt = re.findall(r'"sku_price":"([\d.]+)"', data)  # 商品价格tlt = re.findall(r'"ad_title_text":"(.*?)"', data)  # 商品名称img_urls = re.findall(r'"image_url":"(.*?)"', data)  # 商品图片URLbase_url = "https://img1.360buyimg.com/n6/"  # 基础 URLmin_length = min(len(plt), len(tlt), len(img_urls))for i in range(min_length):price = plt[i].replace('"', '')  # 去掉引号name = tlt[i].strip('"')  # 去掉引号img_url = img_urls[i].replace('"', '')  # 去掉引号uinfo.append([len(uinfo) + 1, price, name, img_url])  # 添加信息到uinfo列表return uinfodef downloadImage(img_url, save_path):try:if img_url and img_url != '无图片':urllib.request.urlretrieve(img_url, save_path)print(f"Downloaded image to {save_path}")else:print(f"No image found for URL: {img_url}")except Exception as e:print(f"Error downloading {img_url}: {e}")def printGoodslist(uinfo):tplt = "{0:^5}\t{1:^10}\t{2:^20}"print(tplt.format("序号", "价格", "商品名称"))for item in uinfo:print(tplt.format(item[0], item[1], item[2]))downloadImage(item[3], os.path.join("书包", f"{item[0]}.jpg"))  # Download image with index as filenamedef main():base_url = 'https://re.jd.com/search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&page='uinfo = []# 循环爬取3-4页for page in range(3, 5):url = f"{base_url}{page}"data = getHTMLText(url)if data:parsePage(uinfo, data)printGoodslist(uinfo)

完成结果：

完成心得：

通过使用正则表达式提取商品名称和价格，让我更熟悉了如何使用 re 库进行模式匹配。这个任务让我对电商网站的爬虫策略有了更深入的理解，同时也增强了我对数据抓取中可能遇到的技术挑战的应对能力。

作业③：

要求：爬取一个给定网页（ https://news.fzu.edu.cn/yxfd.htm）或者自选网页的所有JPEG和JPG格式文件
完成代码：

点击查看代码

def download_image(img_url):global image_countwith lock:if image_count >= max_images:return  # 超过限制，直接返回# 获取图片的文件名parsed_url = urllib.parse.urlparse(img_url)file_name = os.path.join(output_folder, os.path.basename(parsed_url.path))# 检查图片是否已经下载if img_url in downloaded_images:logging.info(f'图片已存在，跳过下载: {file_name}')return  # 如果图片已存在，则跳过下载# 将图片 URL 添加到已下载集合downloaded_images.add(img_url)image_count += 1  # 更新图片计数logging.info(f'开始下载第 {image_count} 张图片: {img_url}')try:response = session.get(img_url, timeout=15)response.raise_for_status()with open(file_name, 'wb') as img_file:img_file.write(response.content)logging.info(f'图片已保存: {file_name}')except requests.RequestException as e:logging.error(f'下载失败: {img_url} - {e}')finally:# 休眠随机时间以避免被封time.sleep(random.uniform(1, 3))  # 调整休眠时间为1到3秒# 解析页面并提取图片URL的函数
def extract_image_urls(page_content, base_url):soup = BeautifulSoup(page_content, 'html.parser')img_tags = soup.find_all('img')img_urls = []for img in img_tags:# 尝试从多个属性中获取图片URLimg_url = img.get('data-original') or img.get('data-src') or img.get('src') or img.get('data-lazy-img')if img_url:# 处理以 // 开头的URLif img_url.startswith('//'):img_url = 'https:' + img_urlelif img_url.startswith('/'):img_url = urllib.parse.urljoin(base_url, img_url)elif not img_url.startswith('http'):img_url = urllib.parse.urljoin(base_url, img_url)# 仅保留 JPEG 和 JPG 格式if re.search(r'\.(jpe?g)$', img_url, re.IGNORECASE):img_urls.append(img_url)# 去重img_urls = list(set(img_urls))logging.info(f'找到 {len(img_urls)} 张JPEG/JPG图片')return img_urls# 处理页面的函数
def process_page(url):logging.info(f'正在处理页面: {url}')try:response = session.get(url, timeout=15)response.raise_for_status()except requests.RequestException as e:logging.error(f'请求失败，URL: {url} - {e}')return []page_content = response.textimg_urls = extract_image_urls(page_content, url)return img_urls

完成结果：

作业心得：

这个任务让我意识到数据存储和管理在爬虫项目中的重要性，同时也让我体会到在真实项目中处理文件时需要注意的细节。