python爬虫 Python爬虫学习记录_Python教程_网络编程_码蚁之家_www.codes51.com
返回首页
专题
网络编程
ASP教程 .NET教程 PHP教程 JSP教程 C#教程 Java教程 Delphi教程 VB教程 C/C++教程 Android开发 IOS开发 Windows Phone开发 Python教程 Ruby教程 移动开发 其他编程教程
网页制作
HTML教程 CSS教程 Dreamweaver教程 FrontPages教程 Javascript教程 web前端
数据库
SqlServer MySql Oracle Access DB2 SQLite 其他数据库
图形设计
photoshop教程 Fireworks教程 CorelDraw教程 Illustrator教程 AutoCad教程 FLASH教程
操作系统
Windows xp教程 Windows 7教程 Windows 8教程 Windows 2003教程 Windows Server 2008教程 Linux教程 Windows 10
网站运营
建站经验 SEO优化 站长心得 网赚技巧 网站推广 站长故事
手机学院
手机速递 安卓教程 iphone教程 手机评测 手机技巧 手机知识 手机应用 手机游戏 手机导购
网店宝典
开店指导 开店经验 网店装修 网店推广 网店seo 网购技巧
软件教程
办公软件 系统工具 媒体工具 压缩工具 图文处理 文件管理
范文之家
自我介绍 自我鉴定 写作模板 合同范本 工作总结 贺词祝福语 演讲致辞 思想汇报 入党申请书 实习报告 心得体会 工作计划 简历模板 工作报告 导游词 评语寄语 口号大全 策划书范文
信息工程
软件工程 企业开发 系统运维 软件测试
移民之家
移民动态 移民政策 移民百科 移民生活 技术移民 投资移民
知识大全
母婴 数码 摄影 装修 美文 常识 时尚 婚嫁 美食 养生 旅游 兴趣 职场 教育 文学 健康
问答大全
电脑网络 手机数码 QQ专区 生活 游戏 体育运动 娱乐明星 休闲爱好 文化艺术 社会民生 教育科学 健康医疗 商业理财 情感家庭 地区问题 其他
编程问答
IOS Android .NET Java C/C++ Delphi VC/MFC 其他语言 PHP MSSQL MYSQL Oracle 其他数据库 Web开发 Windows Linux 硬件/嵌入开发 网络通信 移动开发 云计算 企业IT 游戏开发
笑话大全
幽默笑话 爱情笑话 成人笑话 校园笑话 爆笑笑话 综合笑话 古代笑话 现代笑话 国外笑话

python爬虫 Python爬虫学习记录(1/6)

来源:互联网  时间:2017/12/7 10:02:18

引言:

        昨天在网易云课堂自学了《Python网络爬虫实战》,视频链接 老师讲的很清晰,跟着实践一遍就能掌握爬虫基础了,强烈推荐!

        另外,在网上看到一位学友整理的课程记录,非常详细,可以优先参考学习。传送门:请点击

        本篇文章是自己同步跟着视频学习的记录,欢迎阅读~~~

实验:新浪新闻首页爬虫实践

http://news.sina.com.cn/china/

一、准备

  • 浏览器内建的开发人员工具(以Chrome为例)

  • Python3 requests 库

  • Python3 BeautifulSoup4 库(注意,BeautifulSoup4和BeautifulSoup是不一样的)

  • jupyter notebook

二、抓取前的分析

以Chrome为例,抓取前的分析步骤如图:

 Python爬虫学习记录

  1. F12进入到开发者工具;
  2. 点击Network
  3. 刷新页面;(按F5)
  4. 找到Doc
  5. 找到左边Name这一栏的第一个(需要爬去的链接90%的情况都是第一个);
  6. 点击右边的Headers
  7. 找到请求的URL和请求方式。

 三、开始撰写第一只网络爬虫

Requests库

  • 网络资源撷取套件
  • 改善Urllib2的缺点,让使用者以最简单的方式获取网络资源
  • 可以使用REST操作存取网络资源

jupyter

使用jupyter来抓取网页并打印在浏览器中,再按Ctrl-F查找对应的内容,以确定我们要爬去的内容在该网页中。

测试示例:

1import requests
2 res = requests.get('http://www.sina.com.cn/')
3 res.encoding = 'utf-8'4print(res.text)

四、用BeautifulSoup4剖析网页元素

测试示例:


上一篇刚学的python,练习的代码
下一篇Python安装
明星图片
相关文章
《python爬虫 Python爬虫学习记录》由码蚁之家搜集整理于网络,
联系邮箱:mxgf168#qq.com(#改为@)