python 利用beautifulSoup提取页面多个标签的文本内容_其他语言_编程问答

python 利用beautifulSoup提取页面多个标签的文本内容

来源:互联网  时间:2018/1/29 12:19:01

关于网友提出的“ python 利用beautifulSoup提取页面多个标签的文本内容”问题疑问,本网通过在网上对“ python 利用beautifulSoup提取页面多个标签的文本内容”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题: python 利用beautifulSoup提取页面多个标签的文本内容
描述:

初学beautifulsoup解析库,拿一个招聘网页练手,想达到提取多个标签的文本内容,但是目前只可以提取到单个标签的单个文本内容,多标签的文本如何提取?

from requests.exceptions import RequestException
import requests
from bs4 import BeautifulSoup


def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    soup = BeautifulSoup(html,'lxml')
    html = soup.find_all(class_='infolist-row')
    for a in html:
        print(a.find_all('a')[0])

def main():
    url = 'https://www.0951job.com/jobs/jobs-list.php'
    html = get_one_page(url)
    parse_one_page(html)

if __name__ == '__main__':
    main()

页面url:https://www.0951job.com/jobs/...
class_='infolist-row'是提取内容的主节点,其余元素是副节点
所以请教大佬,如何提取副节点文本内容并且遍历以列表形式。是多次解析?
请大佬指点一下,谢谢


解决方案1:

比如你要a.find_all('a')0链接url成列表的话

l = [a.find_all('a')[0]['href'] for a in html] #这样l就是一个url的列表

上一篇(python)如何使用django执行一个要几十秒才能执行完成的脚本,并能边执行边在页面上输出执行结果?
下一篇python的id函数的反函数是什么?
明星图片
相关文章
《 python 利用beautifulSoup提取页面多个标签的文本内容》由码蚁之家搜集整理于网络,
联系邮箱:mxgf168#qq.com(#改为@)