《利用python进行数据分析》读书笔记

《利用python进行数据分析》读书笔记pandas是本书后续内容的首选库。

pandas可以满足以下需求：具备按轴自动或显式数据对齐功能的数据结构。

这可以防止许多由于数据未对齐以及来自不同数据源（索引方式不同）的数据而导致的常见错误。

. 集成时间序列功能既能处理时间序列数据也能处理非时间序列数据的数据结构数学运算和简约（比如对某个轴求和）可以根据不同的元数据（轴编号）执行灵活处理缺失数据合并及其他出现在常见数据库（例如基于SQL的）中的关系型运算1、pandas数据结构介绍两个数据结构：Series 和DataFrame。

Series是一种类似于以为NumPy数组的对象，它由一组数据（各种NumPy数据类型）和与之相关的一组数据标签（即索引）组成的。

可以用index和values 分别规定索引和值。

如果不规定索引，会自动创建0 到N-1 索引。

#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#Series可以设置index，有点像字典，用index索引obj = Series([1,2,3],index=['a','b','c'])#print obj['a']#也就是说，可以用字典直接创建Seriesdic = dict(key = ['a','b','c'],value = [1,2,3])dic = Series(dic)#下面注意可以利用一个字符串更新键值key1 = ['a','b','c','d']#注意下面的语句可以将Series 对象中的值提取出来，不过要知道的字典是不能这么做提取的dic1 = Series(obj,index = key1)#print dic#print dic1#isnull 和notnull 是用来检测缺失数据#print pd.isnull(dic1)#Series很重要的功能就是按照键值自动对齐功能dic2 = Series([10,20,30,40],index = ['a','b','c','e'])#print dic1 + dic2#name属性,可以起名字 = 's1' = 'key1'#Series 的索引可以就地修改dic1.index = ['x','y','z','w']DataFrame是一种表格型结构，含有一组有序的列，每一列可以是不同的数据类型。

既有行索引，又有列索引，可以被看做由Series组成的字典（使用共同的索引）。

跟其他类似的数据结构（比如R中的data.frame），DataFrame面向行和列的操作基本是平衡的。

其实，DataFrame中的数据是以一个或者多个二维块存放的（不是列表、字典或者其他）。

#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#构建DataFrame可以直接传入等长的列表或Series组成的字典#不等长会产生错误data = {'a':[1,2,3],'c':[4,5,6],'b':[7,8,9]}#注意是按照列的名字进行列排序frame = DataFrame(data)#print frame#指定列之后就会按照指定的进行排序frame = DataFrame(data,columns=['a','c','b'])print frame#可以有空列,index是说行名frame1 = DataFrame(data,columns = ['a','b','c','d'],index = ['one','two','three'])print frame1#用字典方式取列数据print frame['a']print frame.b#列数据的修改直接选出来重新赋值即可#行，可以用行名或者行数来进行选取print frame1.ix['two']#为列赋值，如果是Series，规定了index后可以精确赋值frame1['d'] = Series([100,200,300],index =['two','one','three'])print frame1#删除列用del 函数del frame1['d']#警告：通过列名选出来的是Series的视图，并不是副本，可用Series copy方法得到副本另一种常见的结构是嵌套字典，即字典的字典，这样的结构会默认为外键为列，内列为行。

#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#内层字典的键值会被合并、排序以形成最终的索引pop = {'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}}frame3 = DataFrame(pop)#rint frame3#Dataframe也有行和列有name属性，DataFrame有value 属性 = 'year' = 'state'print frame3print frame3.values下面列出了DataFrame构造函数能够接受的各种数据。

索引对象#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#pandas索引对象负责管理轴标签和其他元数据，构建Series和DataFrame时，所用到的任何数组或其他序列的标签都被转换为Indexobj = Series(range(3),index = ['a','b','c'])index = obj.index#print index#索引对象是无法修改的,这非常重要，因为这样才会使得Index对象在多个数据结构之间安全共享index1 = pd.Index(np.arange(3))obj2 = Series([1.5,-2.5,0],index = index1)print obj2.index is index1#除了长得像数组，Index的功能也类似一个固定大小的集合print 'Ohio' in frame3.columnsprint 2003 in frame3.indexpandas中的Index是一个类，pandas中主要的Index对象（什么时候用到）。

下面是Index的方法与属性，值得注意的是：index并不是数组。

2、基本功能下面介绍基本的Series 和DataFrame 数据处理手段。

首先是索引：#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom pandas import Series,DataFrame#Series有一个reindex函数，可以将索引重排，以致元素顺序发生变化obj = Series([1,2,3,4],index=['a','b','c','d'])#注意这里的reindex并不改变obj的值，得到的是一个“副本”#fill_value 显然是填充空的index的值#print obj.reindex(['a','c','d','b','e'],fill_value = 0)#print objobj2 = Series(['red','blue'],index=[0,4])#method = ffill，意味着前向值填充obj3 = obj2.reindex(range(6),method='ffill')#print obj3#DataFrame 的reindex可以修改行、列或者两个都改frame = DataFrame(np.arange(9).reshape((3,3)),index = ['a','c','d'],columns = ['Ohio','Texas','California'])#只是传入一列数，是对行进行reindex,因为...frame的行参数叫index...(我这么猜的)frame2 = frame.reindex(['a','b','c','d'])#print frame2#当传入原来没有的index是，当然返回的是空NaN#frame3 = frame.reindex(['e'])#print frame3states = ['Texas','Utah','California']#这是对行、列重排#注意：这里的method是对index 也就是行进行的填充，列是不能填充的（不管method的位置如何）frame4 = frame.reindex(index =['a','b','c','d'],columns=states,method = 'ffill')#print frame4#使用ix的标签索引功能，重新索引变得比较简洁print frame.ix[['a','d','c','b'],states]关于ix，是DataFrame的一个方法，/pandas-docs/version/0.17.0/generated/pandas.DataFrame.ix.html。