python爬虫学习路线
python网络爬虫课课程设计
python网络爬虫课课程设计一、教学目标本课程的学习目标包括以下三个方面：1.知识目标：学生需要掌握Python网络爬虫的基本概念、原理和常用库，如requests、BeautifulSoup等。
了解网络爬虫的分类、爬取策略和工作原理，以及与之相关的数据解析、持久化存储等知识。
2.技能目标：学生能够运用Python网络爬虫编写简单的爬虫程序，实现对网页数据的抓取、解析和分析。
具备解决实际网络爬虫问题的能力，如处理登录认证、模拟浏览器行为、反爬虫策略等。
3.情感态度价值观目标：培养学生对网络爬虫技术的兴趣和热情，使其认识到网络爬虫在信息获取、数据分析和网络监测等方面的应用价值。
同时，引导学生树立正确的网络安全意识，遵循道德规范，不滥用网络爬虫技术。
二、教学内容本课程的教学内容主要包括以下几个部分：1.Python网络爬虫基本概念和原理：介绍网络爬虫的定义、分类、爬取策略和工作原理。
2.常用Python网络爬虫库：讲解requests、BeautifulSoup、lxml等库的使用方法，以及如何选择合适的库进行数据抓取和解析。
3.数据解析和处理：学习如何提取网页中的文本数据、图像数据、音频数据等，并进行预处理和清洗。
4.持久化存储：了解如何将抓取的数据存储到文件、数据库等介质中，以便后续分析和使用。
5.实战项目：通过实际案例，让学生学会运用Python网络爬虫解决实际问题，如爬取某的资讯、监测网络舆情等。
6.反爬虫策略与应对：讲解反爬虫技术的原理和常见形式，如验证码、动态加密等，以及如何应对反爬虫策略。
三、教学方法本课程采用以下几种教学方法：1.讲授法：讲解Python网络爬虫的基本概念、原理和常用库。
2.案例分析法：通过分析实际案例，让学生学会运用Python网络爬虫解决实际问题。
3.实验法：让学生动手编写爬虫程序，进行数据抓取和分析，提高实际操作能力。
4.讨论法：学生分组讨论，分享学习心得和解决问题的方法，培养团队合作精神。
路飞学城-Python爬虫集训-第1章
路飞学城-Python爬⾍集训-第1章1⼼得体会沛奇⽼师讲的真⼼不错。
通过这节学习，让我能简单获取⼀些⽹站的信息了。
以前是只能获取静态⽹页，不知道获取要登录的⽹站的资源。
这次后能获奖⼀些需要登录功能⽹站的资源了，⽽且也对requests模板更加熟练了。
更重要的是，当爬⾍时，怎么去分析⽹页，这个学到了很多。
2 什么是爬⾍ 百度百科：⽹络爬⾍（⼜被称为⽹页蜘蛛，⽹络机器⼈，在FOAF社区中间，更经常的称为⽹页追逐者），是⼀种按照⼀定的规则，⾃动地抓取万维⽹信息的程序或者脚本。
通过Python可以快速的编写爬⾍程序，来获取指定URL的资源。
python爬⾍⽤requests和bs4这两个模板就可以爬取很多资源了。
3 request request⽤到的常⽤两个⽅法为 get 和 post。
由于⽹络上，⼤多数的url访问都是这两种访问，所以通过这两个⽅法可以获取⼤多数⽹络资源。
这两个⽅法的主要参数如下： url：想要获取URL资源的链接。
headers：请求头，由于很多⽹站都做了反爬⾍。
所以伪装好headers就能让⽹站⽆法释放是机器在访问。
json：当访问需要携带json时加⼊。
data：当访问需要携带data时加⼊，⼀般登录⽹站的⽤户名和密码都在data⾥。
cookie：由于辨别⽤户⾝份，爬取静态⽹站不需要，但需要登录的⽹站就需要⽤到cookie。
parmas：参数，有些url带id=1&user=starry等等，可以写进parmas这个参数⾥。
timeout：设置访问超时时间，当超过这个时间没有获取到资源就停⽌。
allow_redirects：有些url会重定向到另外⼀个url，设置为False可以⾃⼰不让它重定向。
proxies：设置代理。
以上参数是主要⽤到的参数。
4.bs4bs4是将request获取到的内容进⾏解析，能更快的找到内容，也很⽅便。
当requests返回的text内容为html时，⽤bs4进⾏解析⽤，soup = BeautifulSoup4(html, "html.parser")soup 常⽤的⽅法有：find：根据参数查找第⼀个符合的内容，⽤⽤的有name和attrs参数find_all：查找全部的。
爬虫流程图
爬虫流程图爬虫流程图爬虫是一种自动化程序，用于在互联网上收集信息。
它通过模拟人的浏览行为，从网页中提取数据并保存到本地或者其他目标地方。
以下是一个简单的爬虫流程图，展示了爬虫的主要步骤和流程。
1. 定义目标和需求：首先，确定爬取的目标网站和需要收集的信息。
这些信息可能是文章、图片、视频或其他类型的数据。
2. 分析网站结构：在开始爬取之前，需要了解目标网站的结构和页面之间的关系。
可以通过查看网站的源代码或使用开发者工具来进行分析。
3. 编写代码：根据目标和需求，编写爬虫代码。
通常使用编程语言，如Python，来编写爬虫程序。
4. 发送HTTP请求：使用爬虫程序发送HTTP请求，访问目标网站的页面。
可以使用库或框架来简化这一步骤。
5. 解析HTML文档：获取页面的HTML文档后，需要解析文档，提取所需信息。
可以使用解析库，如BeautifulSoup或XPath，来定位和提取数据。
6. 数据清洗和处理：从HTML文档中提取的数据可能包含不需要的标签或格式不正确。
在使用之前，需要进行清洗和处理，使数据变得有用和可读。
7. 存储数据：处理后的数据需要保存到本地或者其他目标地方。
可以使用数据库、文本文件或其他存储方式来保存数据。
8. 处理异常和错误：在爬取的过程中，可能会遇到异常和错误。
需要编写错误处理机制，以便及时发现和解决问题。
9. 设置爬取规则：为了避免对目标网站的过度请求和不必要的负荷，设定爬取规则，包括访问次数、访问频率和请求间隔等。
10. 定期更新和监控：爬取任务可能需要定期运行，以便获取最新的数据。
同时，也需要监控任务的运行状况，及时发现问题并采取措施解决。
以上是一个基本的爬虫流程图，展示了爬虫的主要步骤和流程。
在实际应用中，可能会根据具体的需求和情况做出相应调整。
爬虫的设计和实现需要注意合法性和道德问题，遵守相关法律法规和道德准则。
使用爬虫时，务必尊重目标网站的规则和隐私权，避免对网站的正常运行造成干扰。
爬虫课课程设计python
爬虫课课程设计python一、教学目标本课程旨在通过Python编程语言的爬虫技术教学，让学生掌握网络数据爬取的基本方法，理解并实践信息抽取、数据解析等关键技能，培养学生独立进行网络数据挖掘与分析的能力。
具体目标如下：•理解网络爬虫的基本概念和工作原理。
•学习Python爬虫相关的库和工具，如requests, BeautifulSoup, Scrapy等。
•掌握使用Python进行简单数据爬取和解析的技巧。
•能够编写简单的爬虫程序，完成数据的基本采集工作。
•能够使用爬虫工具对复杂进行数据爬取。
•能够对爬取的数据进行清洗、格式化处理，并进行初步的数据分析。
情感态度价值观目标：•培养学生对编程和数据科学的兴趣，增强解决实际问题的意识。
•引导学生正确使用网络资源，遵守网络道德与法律法规，尊重数据版权。
二、教学内容本课程的教学内容围绕Python爬虫技术的原理和应用展开，具体包括：1.爬虫基础：介绍爬虫的定义、分类及爬虫在数据分析中的应用。
2.Python爬虫库学习：深入学习requests、BeautifulSoup等库的使用方法。
3.数据解析：学习如何解析HTML、XML等数据格式。
4.高级爬虫技术：掌握Scrapy框架的使用，学习动态页面爬取、反爬虫应对策略等。
5.实战演练：通过案例教学，让学生动手实践爬取并分析实际数据。
三、教学方法本课程将采取多种教学方法相结合的方式，以提高学生的学习效果：•讲授法：用于讲解爬虫的基本概念、原理和关键技术。
•案例分析法：通过分析实际案例，让学生理解爬虫技术的应用场景。
•实验法：安排实验室实践环节，使学生能够动手编写和测试爬虫代码。
•小组讨论法：鼓励学生分组讨论，共同解决问题，培养团队协作能力。
四、教学资源教学资源包括：•教材：《Python网络爬虫实战》等，用于为学生提供系统的学习材料。
•在线资源：利用网络资源，如GitHub上的爬虫项目，供学生参考学习。
•多媒体课件：制作详细的课件，辅助学生课堂学习。
Python爬虫学习总结-爬取某素材网图片
Python爬⾍学习总结-爬取某素材⽹图⽚ Python爬⾍学习总结-爬取某素材⽹图⽚最近在学习python爬⾍，完成了⼀个简单的爬取某素材⽹站的功能，记录操作实现的过程，增加对爬⾍的使⽤和了解。
1 前期准备1.1 浏览器安装xpath插件（以chrome浏览器为例）将插件⼿动拖拽到浏览器扩展中即可完成安装（安装完后需要重启浏览器）启动插件快捷键Ctrl+shift+x1.2 安转lxml依赖安转lxml依赖前，需要安装有pip才能下载依赖查看电脑是否安装pip指令：pip -V安装lxml前需要先进⼊到python解释器的Scripts路径中1.3 学习xpath基本语法xpath基本语法：1.路径查询//：查找所有⼦孙节点，不考虑层级关系/ ：找直接⼦节点2.谓词查询//div[@id]//div[@id="maincontent"]3.属性查询//@class4.模糊查询//div[contains(@id, "he")]//div[starts‐with(@id, "he")]5.内容查询//div/h1/text()6.逻辑运算//div[@id="head" and @class="s_down"]//title | //price2 分析界⾯2.1查看图⽚页⾯的源码，分析页⾯链接规律打开有侧边栏的风景图⽚（以风景图⽚为例，分析⽹页源码）通过分析⽹址可以得到每页⽹址的规律，接下来分析图⽚地址如何获取到2.2 分析如何获取图⽚下载地址⾸先在第⼀页通过F12打开开发者⼯具，找到图⽚在源代码中位置: 通过分析源码可以看到图⽚的下载地址和图⽚的名字，接下来通过xpath解析，获取到图⽚名字和图⽚地址2.3 xpath解析获取图⽚地址和名字调⽤xpath插件得到图⽚名字：//div[@id="container"]//img/@alt图⽚下载地址：//div[@id="container"]//img/@src2注意：由于该界⾯图⽚的加载⽅式是懒加载，⼀开始获取到的图⽚下载地址才是真正的下载地址也就是src2标签前⾯的⼯作准备好了，接下来就是书写代码3 代码实现3.1 导⼊对应库import urllib.requestfrom lxml import etree3.2 函数书写请求对象的定制def create_request(page,url):# 对不同页⾯采⽤不同策略if (page==1):url_end = urlelse:#切割字符串url_temp = url[:-5]url_end = url_temp+'_'+str(page)+'.html'# 如果没有输⼊url就使⽤默认的urlif(url==''):url_end = 'https:///tupian/fengjingtupian.html'# 请求伪装headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39' }# 请求对象的定制request = urllib.request.Request(url = url_end,headers=headers)# 返回伪装后的请求头return request获取⽹页源码def get_content(request):# 发送请求获取响应数据response = urllib.request.urlopen(request)# 将响应数据保存到contentcontent = response.read().decode('utf8')# 返回响应数据return content下载图⽚到本地def down_load(content):# 下载图⽚#urllib.request.urlretrieve('图⽚名称','⽂件名字')# 解析⽹页tree = etree.HTML(content)# 获取图⽚姓名返回的是列表img_name = tree.xpath('//div[@id="container"]//a/img/@alt')img_add = tree.xpath('//div[@id="container"]//a/img/@src2')# 循环下载图⽚for i in range(len(img_name)):# 挨个获取下载的图⽚名字和地址name = img_name[i]add = img_add[i]# 对图⽚下载地址进⾏定制url = 'https:'+add# 下载到本地下载图⽚到当前代码同⼀⽂件夹的imgs⽂件夹中需要先在该代码⽂件夹下创建imgs⽂件夹urllib.request.urlretrieve(url=url,filename='./imgs/'+name+'.jpg')主函数if __name__ == '__main__':print('该程序为采集站长素材图⽚')url = input("请输⼊站长素材图⽚第⼀页的地址（内置默认为风景图⽚）")start_page = int(input('请输⼊起始页码'))end_page = int(input('请输⼊结束页码'))for page in range(start_page,end_page+1):#请求对象的定制request = create_request(page,url)# 获取⽹页的源码content = get_content(request)# 下载down_load(content)完整代码# 1.请求对象的定制# 2.获取⽹页源码# 3.下载# 需求：下载前⼗页的图⽚# 第⼀页：https:///tupian/touxiangtupian.html# 第⼆页：https:///tupian/touxiangtupian_2.html# 第三页：https:///tupian/touxiangtupian_3.html# 第n页：https:///tupian/touxiangtupian_page.htmlimport urllib.requestfrom lxml import etree# 站长素材图⽚爬取下载器def create_request(page,url):# 对不同页⾯采⽤不同策略if (page==1):url_end = urlelse:#切割字符串url_temp = url[:-5]url_end = url_temp+'_'+str(page)+'.html'# 如果没有输⼊url就使⽤默认的urlif(url==''):url_end = 'https:///tupian/fengjingtupian.html'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39' }request = urllib.request.Request(url = url_end,headers=headers)return requestdef get_content(request):response = urllib.request.urlopen(request)content = response.read().decode('utf8')return contentdef down_load(content):# 下载图⽚#urllib.request.urlretrieve('图⽚名称','⽂件名字')tree = etree.HTML(content)# 获取图⽚姓名返回的是列表img_name = tree.xpath('//div[@id="container"]//a/img/@alt')img_add = tree.xpath('//div[@id="container"]//a/img/@src2')for i in range(len(img_name)):name = img_name[i]add = img_add[i]# 对图⽚下载地址进⾏定制url = 'https:'+add# 下载到本地urllib.request.urlretrieve(url=url,filename='./imgs/'+name+'.jpg')if __name__ == '__main__':print('该程序为采集站长素材图⽚')url = input("请输⼊站长素材图⽚第⼀页的地址（内置默认为风景图⽚）")start_page = int(input('请输⼊起始页码'))end_page = int(input('请输⼊结束页码'))for page in range(start_page,end_page+1):#请求对象的定制request = create_request(page,url)# 获取⽹页的源码content = get_content(request)# 下载down_load(content)4 运⾏结果总结此次案例是基于尚硅⾕的python视频学习后的总结，感兴趣的可以去看全套视频，⼈们总说兴趣是最好的⽼师，⾃从接触爬⾍后我觉得python⼗分有趣，这也是我学习的动⼒，通过对⼀次案例的简单总结，回顾已经学习的知识，并不断学习新知识，是记录也是分享。
Python网络爬虫的基本原理和流程
Python网络爬虫的基本原理和流程Python网络爬虫是一种自动化程序，用于从互联网上提取数据。
它可以模拟真实用户的行为，访问网页并抓取所需的信息。
网络爬虫在各个领域具有广泛的应用，如数据挖掘、搜索引擎优化和业务数据分析等。
本文将介绍Python网络爬虫的基本原理和流程。
一、爬虫的基本原理网络爬虫的基本原理是通过HTTP协议发送请求，获取网页内容，然后提取所需的数据。
Python提供了一些强大的库和工具，可以简化爬虫的开发过程。
1. 发送请求使用Python的模块，如Requests或Scrapy，可以发送HTTP请求并获取响应。
通过GET或POST方法，可以向指定的URL发送请求，并获得服务器返回的响应。
2. 解析HTML获取到页面的HTML源代码后，需要通过解析HTML来抓取所需的数据。
常用的HTML解析库包括BeautifulSoup和lxml等。
这些库可以根据HTML标签和其他特征来提取所需的数据。
3. 数据提取在解析HTML的基础上，可以使用CSS选择器或XPath表达式来定位和提取特定的数据。
这些工具提供了灵活的方式来选择DOM元素，并获取其对应的值。
4. 数据存储一旦获取了所需的数据，可以将其存储到数据库或文件中。
Python提供了各种数据库和文件处理的库，如MySQL、MongoDB和CSV等。
二、爬虫的基本流程Python网络爬虫的基本流程包括以下几个步骤：1. 发送请求使用Python的Requests库，通过GET或POST方法向目标网站发送请求。
可以设置请求头部信息，模拟真实用户的行为。
2. 获取响应收到服务器的响应后，可以获取页面的HTML源码。
通过解码和解析HTML，可以获取页面中的各种元素和数据。
3. 解析HTML使用合适的HTML解析库，如BeautifulSoup或lxml，解析HTML源码，并根据预先定义好的规则提取所需的数据。
4. 数据提取通过CSS选择器或XPath表达式，定位和提取特定的数据。
python学习计划大全
python学习计划大全Python已经成为了现今最受欢迎的编程语言之一。
它的简单易学和强大的功能，使得它成为了许多程序员的首选语言。
如果你也想学习Python，那么下面的Python学习计划大全将会对你有所帮助。
第一步：学习Python基础Python教程如果你是一个完全的新手，那么你可以通过阅读一些Python教程来入门。
教程可以帮助你了解Python的基本语法、数据类型、控制流等内容。
一些著名的Python教程有：Codecademy的Python课程、Coursera的《Python for Everybody》等。
这些教程都是为初学者准备的，可以帮助你快速上手Python。
练习题学完了基础知识之后，不妨试着做一些练习题。
LeetCode、HackerRank以及Codewars等在线平台上都有许多Python练习题目。
通过做这些题目，你可以巩固自己的知识，并且学会如何运用Python解决实际问题。
项目实践找一个小项目，比如爬取某个网站的数据，或者做一个简单的游戏。
通过实际的项目实践，你可以更好地理解Python的使用方式，以及提升自己的编程能力。
第二步：学习Python进阶学习面向对象编程在掌握了Python的基础知识之后，你可以开始学习面向对象编程。
Python是支持面向对象编程的，你可以学习如何定义类、创建对象，以及理解继承、多态等概念。
学习数据结构和算法掌握数据结构和算法是每一个程序员应该具备的基本能力。
你可以学习一些常见的数据结构，比如数组、链表、栈、队列等，然后再学习一些经典的算法，比如排序、查找等。
《算法导论》、《数据结构与算法分析》等书籍都是非常好的学习材料。
学习Python高级特性Python有很多高级特性，比如装饰器、生成器、迭代器、多线程等。
学习这些高级特性可以帮助你更好地理解Python的灵活性和强大性。
第三步：学习Python应用领域Web开发Python在Web开发领域有着广泛的应用。
python爬虫入门教程
python爬虫入门教程Python爬虫入门教程Python爬虫是一种自动化程序，用于从互联网上的网页或者其他源中提取数据。
它广泛应用于数据挖掘、信息抓取、搜索引擎等领域。
下面是一个Python爬虫的入门教程。
第一步是安装Python。
Python是一种高级编程语言，每个操作系统都有相应的安装包。
可以从Python官方网站上下载并安装最新的Python版本。
第二步是安装爬虫框架。
有很多爬虫框架可供选择，例如Scrapy、BeautifulSoup等。
这些框架可以提供许多有用的功能和类库，简化爬虫的开发过程。
你可以根据自己的需求选择合适的框架进行安装。
第三步是了解HTML和CSS。
HTML和CSS是网页的基础语言，爬虫需要通过解析HTML和CSS来提取网页中的信息。
可以通过在线教程或者相关书籍来学习HTML和CSS的基本语法和常用元素。
第四步是学习Python基础知识。
爬虫开发需要一定的编程基础，需要掌握Python的基本语法、数据类型、函数、条件语句等知识。
可以通过自学、参加培训班等方式来学习Python。
第五步是编写爬虫代码。
首先需要确定要爬取的网页或者网站，并分析网页的结构和布局。
然后使用爬虫框架提供的类库和函数来解析网页和提取需要的数据。
最后将数据存储到本地文件或者数据库中。
第六步是调试和优化爬虫代码。
在编写爬虫代码的过程中，可能会遇到各种问题，例如网页结构变动、反爬虫机制等。
需要不断调试代码，并根据实际情况对代码进行优化，以提高爬取效率和稳定性。
第七步是合法使用爬虫。
在使用爬虫的过程中，需要遵守相关的法律和道德规范，不要侵犯他人的合法权益。
可以查阅相关的法律规定，并遵守网站的使用条款和隐私政策。
总结起来，Python爬虫入门教程包括安装Python和爬虫框架、学习HTML和CSS、掌握Python基础知识、编写爬虫代码、调试和优化代码、合法使用爬虫等步骤。
通过这个教程，你可以初步了解并入门Python爬虫的基本知识和技巧。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
python爬虫学习路线
爬虫、web开发、数据分析、机器学习等等丰富的世界已经向你敞开，选择一个方向开始出发吧!下面是我为您整理的关于〔python〕爬虫学习路线，希望对你有所帮助。
python爬虫学习路线
我在学习Python爬虫之前，只有一点点C++基础。
所谓"一点点'，指的是看过谭浩强的《C++程序〔制定〕》、砖头一样的
《C++Primer》(当然，后者没看完)，有接触实验室的MFC大型项目经验，但是关于数据结构、类、封装等概念，理解得都不到位。
在这样的基础上，由于种种原因，开始学习Python。
(1)学习Python基础
开始阅读《零基础入门学习Python》，看了三天，初始Python 的基本语法、列表和字典、包和模块等概念。
推举小甲鱼的这本书作为入门，书籍是基于Python3作为开发语言，具有时效性;
语言轻松易懂;一边抄代码一边学语法，3天即可以略微上手Python。
在这三天间，还参照百度教程，配置好Python的运行环境。
在win7环境下，安装了Python3.6，Anaconda3，PcCharm，后来才发现，只必须要下载一个Anaconda3就可以了0-0熟悉了
Python的运行环境，熟悉了pip、conda等命令的用法、第三方包的安装。
此外，还配置了MySQL、Navicat、PowerBI等相关软件。
现在想想，有点多余了，其实暂时是用不到的。
但在做项目的时候，终会用到。
(2)初识Python数据分析
由于刚开始的时候，把自己的求职目标定位为"基于Python的数据分析师'，因此还检索了很多数据分析的岗位JD。
包括数据分析的岗位要求、学习规划、职业分类等等。
自己也很懈怠。
11月27-12月4日去厦门大学出差，期间只能看看书。
看的是《利用Python进行数据分析》，草草浏览了一遍，只记得NumPy、Matplotlib、pandas这几个包的名字而已=-=京东双11的时候，买了《利用Python进行数据分析》、《Python金融〔大数据〕分析》、《Python零基础入门学习》、《谁说菜鸟不会数据分析》、《深入浅出数据分析》这几本书，一共大概200元，但是过了一个月，目前只看了《Python零基础入门学习》这一本而已。
(3)初学Python网络爬虫
出差返校之后，重新定位了一下：把"爬虫工程师'作为学习Python的阶段性目标。
大概花了一周时间去攻克，学习到的知识有：
1、网页的基本知识：get和post的含义、html的含义及基本格式;
2、爬虫的基本原理：分析网页-请求网页-返回网页信息-解析网页-下载文件-储存文件;
3、爬虫相关的第三方包：请求网页用的是requests，解析网页有三种方法(re、lxml、BeautifulSoup)，这三个包是爬虫的重中之重;
4、Python环境下对本地文件的读写：下载文件则必须要自己写一个download函数，os包的使用;
5、网页URL的分析方法，必须要用for循环获取某些嵌套网页的url;
6、使用浏览器调试url的方法，F12和寻找scr、href等;
学习的方法，就是不断的寻找网上的示例，先自己在spyder中手动敲一遍，然后逐句逐句的分析每一条代码的含义。
重复2-3个例子之后，会发现所有的爬虫都基本是这个套路。
这个重复的过程一周足矣。
0-0爬取妹子图，关于内心成就感的提升是最大的。
学Python网络爬虫碰到问题怎么办?
学习的过程中或多或少都会有各种问题出现，不要试着逃避，真的勇士敢于直面惨淡的 BUG。
第一步肯定是利用好搜索引擎，怎么用也是一门技术活：
〔编程〕初学者如何使用搜索引擎：看完或许会对搜索引擎的使用有新的感受。
第二步，求助于各大同性交友网站：
stackoverflow：这个就不用多说了吧，这是是一个程序员的知识库;
v2ex：国内非常不错的编程社区，不仅仅是包涵程序，也包涵了程序猿的生活;
segmentfault：一家以编程问答为主的网站。
从零开始学Python网络爬虫
在学习了基本的小型爬虫之后，开始学习爬虫框架Scrapy。
学习Scrapy的过程非常的曲折，主要困难在：由于Scrapy包在17年2月份之后，才支持Python3;此外，有些网页的html也在更改，因此网上很多教程都是不可正常运行的。
我百度关键词为"scrapy爬取图片'，浏览了前100个网页，能运行的爬虫实例，不过6个而已。
因此，除了浏览Scrapy框架的简介之后，没有几个能仔细研究的case。
于是，上jd买了一本《从零开始学Python网络爬虫》，由于是17年10月份出版的，因此和目前的开发环境很契合，不会出现代码运行不了的状况。
将要学习的知识点：
1、用MongoDB和MySQL存储爬取的数据;
2、多线程爬虫的实现方法;
3、针对异步加载网页抓取数据的方法;
4、使用cookies模拟登录网站;
Python学习体会
Python的学习到现在已经有半个月了，因为之前有学Java的基础，所以这次就没有买书，一直看的廖雪峰的教程。
Python给我的总体感觉是真的很简洁易读，同样的实现一个功能，Java必须要十行，Python可能只必须要三行。
与之对应的是学习起来也相对更简单一些。
同时Python的动态语言特性也是区别于Java的静态语言的，这一点我现在还没有什么感受，毕竟才刚学半个月，但是Java给我的感觉就是很严谨，甚至有些呆板。
我学习Python的目的主要只是为了Python的数据处理能力和爬虫，可是数据处理不仅仅必须要Python语言的支持，更多的是分析数据的能力，爬虫呢相对来说就比较简单了，因为之前学习过Web的知识，所以上手爬虫来说会相对简单一点，但是还是有一些概念绕的我头有点晕。
而且现在网上的爬虫教程大多是2.7的，但是我用的是3.5的版本，所以看得都有些出入
总的来说，Python真的是一门非常不错的语言，但是如果想要深入学习编程知识的话，不建议以Python作为入门语言，最好是能在Java或C的基础上去学习，这样会好很多。
而且现在随着人工智能的火热，Python必将会在将来的生产工作中占据很大比重。
所以，现在学习一些Python的知识还是很有必要的。