静态网页爬虫①

items = soup.find_all('div', class_='item')for i in items: tag = i.find('a') # 获取 text 属性 name = tag.text # 获取 href 属性值 link = tag['href'] print(name, link)# 输出：# 追风筝的人 解忧杂货店 小王子 Tag 对象 的 text 属性拿到了 a 标签里的文字内容，即 追风筝的人 等。然后我们通过和字典取值一样的方式，将 HTML 属性名 作为键，得到了对应属性的值。这里是以 href 属性为例，其他的 HTML 属性也同样可以。

我们来总结一下 Tag 对象 的常用属性和方法：

CSS选择器

有没有什么方法可以直接就找到我们需要的数据，而不用多次查找吗？

答案是肯定的，需要用到 CSS 选择器。

在 CSS 选择器中，# 代表 id，. 代表 class。比如：#login 表示 id=‘login’ 的所有元素，.item 表示 class=‘item’ 的所有元素。

我们也可以直接通过标签名选择对应的元素，比如：a 表示所有的 a 元素，p 表示所有的 p 元素。

它们也可以组合在一起，选择同时符合条件的元素，比如：a#login 表示所有 id=‘login’ 的 a 元素，p.item 表示所有 class=‘item’ 的 p 元素，#login.item 表示所有 id=‘login’ 且 class=‘item’ 的元素，.item.book 表示所有 class 同时为 item 和 book 的元素。

需要注意的是，选择同时符合条件的元素，选择器之间不能有空格，如果写成 .item .book 就是另一个意思了。这是新的知识点——子元素选择。

当两个选择器之间加了空格，表示子元素选择。还是以 .item .book 为例，它表示选择所有 class=‘item’ 的元素里面 class=‘book’ 的元素，即嵌套在 class=‘item’ 的元素里面 class=‘book’ 的元素。

这个嵌套可以是任意层级的，只要在里面就行，不要求直接嵌套在第一层。如果只需要直接嵌套在第一层符合条件的元素，可以用 > 分隔。比如：.item > .book。

来看个例子感受一下它们的区别：

from bs4 import BeautifulSouphtml = '''

小王子

追风筝的人

小王子

了解了 CSS 选择器的基本语法后，我们来看看如何在 BeautifulSoup 中使用。

BeautifulSoup 对象 有一个 select() 方法，我们将 CSS 选择器 传进去即可直接找到我们需要的元素。上面查找在 class=“item” 的 div 标签 里的 a 标签 的代码就可以这样写：

items = soup.select('div.item a')for i in items: name = i.text link = i['href'] print(name, link)# 输出：# 追风筝的人 解忧杂货店 小王子 requestsfrom bs4 import BeautifulSoupheaders = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32'}#首先对网页发出请求并获得响应req = requests.get('= headers)#将网页的源代码形式解析soup = BeautifulSoup(req.text,'html.parser')#进行元素的第一次提取result1 = soup.select('.item .pic')num = 0for i in result1: num += 1 name = i.select('a img')[0]['alt'] link = i.select('a')[0]['href'] print(num,' ',name,link)

结果：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。