Python 从爬虫到数据分析

大家好，我是大鹏，城市数据团联合发起人，致力于Python数据分析、数据可视化的应用与教学。

和很多同学接触过程中，我发现自学Python数据分析的一个难点是资料繁多，过于复杂。大部分网上的资料总是从Python语法教起，夹杂着大量Python开发的知识点，花了很多时间却始终云里雾里，不知道哪些知识才是真正有用的。本来以为上手就能写爬虫出图，却在看基础的过程中消耗了一周又一周，以至于很多励志学习Python的小伙伴牺牲在了入门的前一步。

于是，我总结了以下一篇干货，来帮助大家理清思路，提高学习效率。总共分为三大部分：做Python数据分析必知的语法，如何实现爬虫，怎么做数据分析。

1.必须知道的两组Python基础术语

A.变量和赋值

Python可以直接定义变量名字并进行赋值的，例如我们写出a = 4时，Python解释器干了两件事情：

• 在内存中创建了一个值为4的整型数据
• 在内存中创建了一个名为a的变量，并把它指向4

用一张示意图表示Python变量和赋值的重点：

例如下图代码，“=”的作用就是赋值，同时Python会自动识别数据类型:

a=4 #整型数据 
b=2 #整型数据 
c=“4” #字符串数据 
d=“2” #字符串数据 
 
print(“a+b结果为”，a+b)#两个整数相加，结果是6 
print(“c+d结果为”，c+d)#两个文本合并，结果是文本“42” 
 
#以下为运行结果 
>>>a+b结果为 6 
>>>c+d结果为 42 

B.数据类型

在初级的数据分析过程中，有三种数据类型是很常见的：

• 列表list(Python内置)
• 字典dic(Python内置)
• DataFrame(工具包pandas下的数据类型，需要import pandas才能调用)

它们分别是这么写的：

列表(list)：

#列表 
liebiao=[1,2.223,-3,'刘强东','章泽天','周杰伦','昆凌',['微博','B站','抖音']] 

list是一种有序的集合，里面的元素可以是之前提到的任何一种数据格式和数据类型(整型、浮点、列表……)，并可以随时指定顺序添加其中的元素，其形式是：

#ist是一个可变的有序表，所以，可以往list中追加元素到末尾： 
liebiao.append('瘦') 
print(liebiao) 
#结果1 
>>>[1, 2.223, -3, '刘强东', '章泽天', '周杰伦', '昆凌', ['微博', 'B站', '抖音'], '瘦'] 
 
#也可以把元素插入到指定的位置，比如索引号为5的位置,插入“胖”这个元素： 
liebiao.insert(5, '胖') 
print(liebiao) 
#结果2 
>>>[1, 2.223, -3, '刘强东', '章泽天', '胖', '周杰伦', '昆凌', ['微博', 'B站', '抖音'], '瘦'] 

字典(dict)：

#字典 
zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','昆凌':'26'} 

字典使用键-值(key-value)存储，无序，具有极快的查找速度。以上面的字典为例，想要快速知道周杰伦的年龄，就可以这么写：

zidian['周杰伦'] 
>>>'40' 

dict内部存放的顺序和key放入的顺序是没有关系的,也就是说，"章泽天"并非是在"刘强东"的后面。

DataFrame：

DataFrame可以简单理解为Excel里的表格格式。导入pandas包后，字典和列表都可以转化为DataFrame，以上面的字典为例，转化为DataFrame是这样的：

import pandas as pd 
 
df=pd.DataFrame.from_dict(zidian,orient='index',columns=['age'])#注意DataFrame的D和F是大写 
df=df.reset_index().rename(columns={'index':'name'})#给姓名加上字段名 

和excel一样，DataFrame的任何一列或任何一行都可以单独选出进行分析。

以上三种数据类型是python数据分析中用的最多的类型，基础语法到此结束，接下来就可以着手写一些函数计算数据了。

2.从Python爬虫学循环函数

掌握了以上基本语法概念，我们就足以开始学习一些有趣的函数。我们以爬虫中绕不开的遍历url为例，讲讲大家最难理解的循环函数for的用法：

A.for函数

for函数是一个常见的循环函数，先从简单代码理解for函数的用途：

zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','昆凌':'26'} 
for key in zidian: 
        print(key) 
>>> 
刘强东 
章泽天 
周杰伦 
昆凌 

（编辑：ASP站长网）