数据采集实践第二次作业
目录
点击展开/收起
- 作业①：定向爬取7日天气预报
- 作业②：定向爬取股票相关信息
- 作业③：定向爬取中国大学2021主榜信息
- 总结
● 码云链接 作业1 · xh102202145/crawl_project
作业①：定向爬取7日天气预报
1.1 实验要求
在中国气象网（http://www.weather.com.cn）上爬取给定城市的7日天气预报，并将数据存储到数据库中。
1.2 实验思路
- 使用
requests向中国气象网发送请求，获取城市天气预报数据。 - 利用
BeautifulSoup解析返回的HTML内容，提取目标天气信息。 - 将数据保存至SQLite数据库。
1.3 主要代码块
点击查看代码
# 爬取天气数据类
class WeatherForecast:def __init__(self):self.headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre"}self.cityCode = {"北京": "101010100", "上海": "101020100", "广州": "101280101", "深圳": "101280601"}def forecastCity(self, city):if city not in self.cityCode.keys():print(city + " code cannot be found")returnurl = "http://www.weather.com.cn/weather/" + self.cityCode[city] + ".shtml"try:req = urllib.request.Request(url, headers=self.headers)data = urllib.request.urlopen(req)data = data.read()soup = BeautifulSoup(data, "lxml")lis = soup.select("ul[class='t clearfix'] li")for li in lis:try:date = li.select('h1')[0].text if li.select('h1') else "N/A"weather = li.select('p[class="wea"]')[0].text if li.select('p[class="wea"]') else "N/A"temp_high = li.select('p[class="tem"] span')[0].text if li.select('p[class="tem"] span') else "N/A"temp_low = li.select('p[class="tem"] i')[0].text if li.select('p[class="tem"] i') else "N/A"temp = temp_high + "/" + temp_lowprint(city, date, weather, temp)self.db.insert(city, date, weather, temp)except Exception as err:print("Error parsing data:", err)except Exception as err:print("Error accessing URL:", err)def process(self, cities):self.db = WeatherDB()for city in cities:self.forecastCity(city)self.db.close()1.4 运行结果
1.5 心得体会
作业②：定向爬取股票相关信息
2.1 实验要求
使用 requests 和 BeautifulSoup 定向爬取股票相关信息，并将数据存储在数据库中。
2.2 实验思路
- 使用谷歌浏览器的F12调试模式分析股票信息加载的API。
- 使用
requests向API发送请求，获取股票数据。 - 使用
BeautifulSoup解析网页，提取公司名称、股票代码、最新价格等信息。 - 将提取的数据存储至SQLite数据库。
2.3 主要代码块
点击查看代码
# 获取页面输入
keypage = input("请输入要搜索的页面：")
searchlist = list(map(int, keypage.split()))# 遍历每一页进行数据爬取
for page in searchlist:url = f'http://76.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112405166990298085778_1696666115151&pn={page}&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1696666115152'response = requests.get(url, headers=headers)data = response.text# 提取括号中的JSON数据start = response.text.find('(')end = response.text.rfind(')')data = response.text[start + 1:end]data = json.loads(data)# 提取股票信息data = data['data']['diff']plist = ['f12', 'f14', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f15', 'f16', 'f17', 'f18', 'f10', 'f8', 'f9', 'f23']for stock in data:row = tuple(stock[field] for field in plist)cursor.execute('''INSERT INTO my_table (code, name, latest_price, change_percent, change_amount, volume, turnover, amplitude, high, low, opening_price, yesterday_close, volume_ratio, turnover_rate, pe_ratio, pb_ratio) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)''', row)# 提交更改并关闭数据库连接
conn.commit()
2.4 运行结果
股票数据成功保存至数据库中，包含股票代码、公司名称、最新价格、涨跌幅等信息。
2.5 心得体会
作业③：定向爬取中国大学2021主榜信息
3.1 实验要求
爬取中国大学2021主榜（https://www.shanghairanking.cn/rankings/bcur/2021）
所有院校信息，并存储在数据库中。将浏览器F12调试分析的过程录制为Gif并加入博客中。
3.2 实验思路
- 使用F12调试模式分析网页的发包情况，查找用于加载数据的API。
- 使用
requests向API发送请求，获取返回的大学排名数据。 - 使用
BeautifulSoup或json解析返回的数据，提取学校名称、排名、所在省市等信息。 - 将数据存储到SQLite数据库，并录制调试分析的过程。
3.3 主要代码块
点击查看代码
url = "https://www.shanghairanking.cn/_nuxt/static/1728872418/rankings/bcur/2021/payload.js"resquest = requests.get(url=url)name = re.findall(',univNameCn:"(.*?)",',resquest.text)#获取学校名称
score = re.findall(',score:(.*?),',resquest.text)#获取学校总分
category = re.findall(',univCategory:(.*?),',resquest.text)#获取学校类型
province = re.findall(',province:(.*?),',resquest.text)#获取学校所在省份
3.4 运行结果
3.5 运行结果浏览器F12调试分析的过程
3.6 心得体会
总结
本次作业通过 requests 和 BeautifulSoup 实现了对7日天气预报、股票信息以及中国大学排名的爬取和存储任务。通过F12调试分析，我们能深入了解网页发包情况并高效获取数据。
