python pandas 数据分析技术与编程方法讲座

NASA
豆瓣 ......
Python解释器
当我们编写Python代码时，我们得到的是一个包含 Python代码的以.py为扩展名的文本文件。要运行代 码，就需要Python解释器去执行.py文件。
Python解释器
CPython 当我们从Python官方网站下载并安装好Python 2.7后， 我们就直接获得了一个官方版本的解释器：CPython。 这个解释器是用C语言开发的，所以叫CPython。在 命令行下运行python就是启动CPython解释器。 CPython是使用最广的Python解释器。
Pandas中的数据结构
2. DataFrame DataFrame是二维标记数据结构，列可以是不同的数 据类型。它是最常用的pandas对象，像Series一样可 以接收多种输入：lists、dicts、series和DataFrame等。 初始化对象时，除了数据还可以传index和columns 这两个参数。
DataFrame相关操作——赋值
列可以通过赋值来修改。例如，空的‘debt’列可 以通过一个纯量或一个数组来赋值；
注意：通过列表或数组给一列赋值时，所赋的值的长度必须和 DataFrame的长度相匹配。
使用Series来赋值，它会代替在DataFrame中精确匹
配的索引的值，并在所有的空洞插入丢失数据NaN；
Windows下 Python 安装与配置
OS：
64位 windows 7
Version：python-2.7.11.msi
注意：
1.安装时勾选add to environment，默认安装pip 2.添加pip环境变量 path = C:\Python27\Scripts
PyPI (PythonPackageIndex)是python官方的第三方库的仓库， pip是一个安装和管理Python包的工具。
DataFrame相关操作——检索
为了使DataFrame可以 在行上进行标签索引， 将介绍特殊的索引字段 ix 。这使你可以从
DataFrame选择一个行
和列的子集，这也是一 种不是很冗长的重新索
DataFrame相关操作——检索
对于DataFrame，有很多方法来选择和重排包含在 pandas对象中的数据。
Pandas中的数据结构
5. PanelND PanelND是一个拥有factory集合，可以创建像 Panel4D一样N维命名容器的模块。
Series相关操作——创建
通过传递一个list对象来创建Series，默认创建整型索 引；
In [4]: obj = Series([4, 7, -5, 3])
Python开发环境
特别注意：Python文件编码声明
Python文件不支持中文注释问题：
# coding=<encoding name> #!/usr/bin/python # -*- coding: <encoding name> -* #!/usr/bin/python # vim: set fileencoding=<encoding name> :
Series相关操作
从坐标轴删除条目，drop 方法将会返回一个新的对 象并从坐标轴中删除指定的一个或多个值：
Series相关操作
Series除了可以使用索引值，也可以仅使用整数来索 引：
Series相关操作
直方图：
Series相关操作
字符串方法：
DataFrame相关操作——创建
通过传递一个NumPy array，时间索引以及列标签来 创建一个DataFrame； 用一个相等长度列表的字典；
它的索引会自动分配，并且对列进行了排序；
如果设定了一个列的顺序，DataFrame的列将会精确
的按照所传递的顺序排列；
DataFrame相关操作——创建
通过一个嵌套的字典格式创建DataFrame：
pd.isnull(obj4) pd.notnull(obj4)
Series也提供了这些函数的实例方法：
obj4.isnull()
Series相关操作
Series的一个重要功能是在算术运算中它会自动对齐 不同索引的数据：
Series相关操作
Series对象本身和它的索引都有一个 name 属性，它 和pandas的其它一些关键功能整合在一起：
继续开发和维护，属于PyData项目的一部分。
约定俗成的导入惯例： In [1]: from pandas import Series, DataFrame
Pandas中的数据结构
1.Series Series是一维标记数组，可以存储任意数据类型，如 整型、字符串、浮点型和Python对象等，轴标一般 指索引。 Series Numpy中的一维array Python基本数据结构List 区别：List中的元素可以是不同的数据类型，而Array
Python解释器
IPython IPython是基于CPython之上的一个交互式解释器， 也的功能和CPython是完全一样的。 CPython用>>>作为提示符，而IPython用In [序号]:作 为提示符。
Series相关操作
通过一个布尔数组过滤，纯量乘法，或使用数学函 数，将会保持索引和值间的关联：
Series相关操作
Series是一个定长的，有序的字典，因为它把索引和 值映射起来了。它可以适用于许多期望一个字典的 函数：
Series相关操作
在pandas中用函数 isnull 和 notnull 来检测数据丢失：
外部键会被解释为列索引，内部键会被解释为行索 引； 内部字典的键被结合并排序来形成结果的索引；
DataFrame相关操作——检索
DataFrame中的一列可以通过字典记法或属性来检索：
注意，返回的Series包含和DataFrame相同的索引，并它们的 name 属
性也被正确的设臵了。
DataFrame相关操作
对于DataFrame，可以从任何坐标轴删除索引值：
DataFrame相关操作——导入和 保存数据
写入excel文件： df.to_excel('foo.xlsx', sheet_name='Sheet1')
创建一个带有索引来确定每一个数据点的Series ;
In [8]: obj2 = Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])
如果你有一些数据在一个Python字典中，你可以通 过传递字典来创建一个Series；
In [11]: sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
给一个不存在的列赋值，将会创建一个新的列；
DataFrame相关操作——算术运 算
pandas的最重要的特性之一是在具有不同索引的对 象间进行算术运算。当把对象加起来时，如果有任 何索引对不相同的话，在结果中将会把各自的索引 联合起来。
DataFrame相关操作
在不同索引对象间的算术运算，当一个轴标签在另 一个对象中找不到时，你可能想要填充一个特定的 值，如0。How to do it？
eg:
特别注意：缩进
Python中行首的空白是重要的，它称为缩进。在逻 辑行首的空白（空格和制表符）用来决定逻辑行的 缩进层次，从而用来决定语句的分组。
if 0==1:
print 'We are in a world of arithmetic pain'
print 'Thank you for playing'
Python Pandas 数据分析技术与编程 方法
目录
Python入门 开发环境IDE pandas数据分析库 数据规整化
数据聚合与分组
实例分析——泰坦尼克之灾
Python的历史
Python是自由软件丰硕成果之一 创始人 Guido van Rossum
时间地点 1989年圣诞节期间在阿姆斯特丹创造
面向对象 甚至还支持异常处理
模块和包 与Java类似，还开发了JPython 语言扩展 可以用C/C++/Java编写新的语言模块 丰富的库 数据分析/科学计算/机器学习/GUI/ ... ...
Python的魅力

它使程序员的生活更有趣 简单易学


功能丰富
谁在使用Python呢？ • Google
Python解释器
Jython Jython是运行在Java平台上的Python解释器，可以直 接把Python代码编译成Java字节码执行。
Python解释器
IronPython IronPython和Jython类似，只不过IronPython是运行 在微软.Net平台上的Python解释器，可以直接把 Python代码编译成.Net的字节码。
pandas numpy scipy
数据分析 科学计算包 科学计算包
matplotlib 画图/表
scikit-learn 机器学习库
Seaborn 数据可视化工具包
Pandas
Python的一个数据分析包 AQR Capital Management于2008年4月开发 2009年底开源 目前由专注于Python数据包开发的PyData开发team