3.python深度学习常用库

Python被大量应用在数据挖掘和深度学习领域，其中使用极其广泛的是Numpy、pandas、Matplotlib、PIL等库。

numpy是Python科学计算库的基础。包含了强大的N维数组对象和向量运算。

pandas是建立在numpy基础上的高效数据分析处理库，是Python的重要数据分析库。

Matplotlib是一个主要用于绘制二维图形的Python库。用途：绘图、可视化

PIL库是一个具有强大图像处理能力的第三方库。用途：图像处理

NumPy是使用Python进行科学计算的基础软件包。

更多学习，可参考numpy中文网：https://https://www.360docs.net/doc/0d14521567.html,/

1.数组创建

可以使用array函数从常规Python列表或元组中创建数组。得到的数组的类型是从Python 列表中元素的类型推导出来的。

创建数组最简单的办法就是使用array函数。它接受一切序列型的对象（包括其他数组），然后产生一个新的含有传入数据的numpy数组。其中，嵌套序列（比如由一组等长列表组成的列表）将会被转换为一个多维数组

In[6]

import numpy as np

#将列表转换为数组

array = np.array([[1,2,3],

[4,5,6]])

print(array)

In[24]

import numpy as np

#将列表转换为数组

array = np.array(((1,2,3),

(4,5,6)))

print(array)

下面这样可以吗？

In[ ]

a = np.array(1,2,3,4)

通常，数组的元素最初是未知的，但它的大小是已知的。因此，NumPy提供了几个函数来创建具有初始占位符内容的数组。

?zeros():可以创建指定长度或者形状的全0数组

?ones():可以创建指定长度或者形状的全1数组

?empty():创建一个数组，其初始内容是随机的,取决于内存的状态

In[46]

zeroarray = np.zeros((2,3))

print(zeroarray)

In[47]

onearray = np.ones((3,4),dtype='int64')

print(onearray)

In[48]

emptyarray = np.empty((3,4))

print(emptyarray)

为了创建数字组成的数组，NumPy提供了一个类似于range的函数，该函数返回数组而不是列表。

In[49]

array = np.arange( 10, 31, 5 )

print(array)

输出数组的一些信息，如维度、形状、元素个数、元素类型等

In[51]

array = np.array([[1,2,3],[4,5,6],[7,8,9],[10,11,12]])

print(array)

#数组维度

print(array.ndim)

#数组形状

print(array.shape)

#数组元素个数

print(array.size)

#数组元素类型

print(array.dtype)

重新定义数字的形状

In[53]

array1 = np.arange(6).reshape([2,3])

print(array1)

array2 = np.array([[1,2,3],[4,5,6]],dtype=np.int64).reshape([3,2]) print(array2)

2.数组的计算

数组很重要，因为它可以使我们不用编写循环即可对数据执行批量运算。这通常叫做矢量化（vectorization）。

大小相等的数组之间的任何算术运算都会将运算应用到元素级。同样，数组与标量的算术运算也会将那个标量值传播到各个元素.

矩阵的基础运算：

In[56]

arr1 = np.array([[1,2,3],[4,5,6]])

arr2 = np.ones([2,3],dtype=np.int64)

print(arr1 + arr2)

print(arr1 - arr2)

print(arr1 * arr2)

print(arr1 / arr2)

print(arr1 ** 2)

矩阵乘法：

In[57]

#矩阵乘法

arr3 = np.array([[1,2,3],[4,5,6]])

arr4 = np.ones([3,2],dtype=np.int64)

print(arr3)

print(arr4)

print(np.dot(arr3,arr4))

矩阵的其他计算：

In[59]

print(arr3)

print(np.sum(arr3,axis=1)) #axis=1,每一行求和 axie=0,每一列求和print(np.max(arr3))

print(np.min(arr3))

print(np.mean(arr3))

print(np.argmax(arr3))

print(np.argmin(arr3))

In[60]

arr3_tran = arr3.transpose()

print(arr3_tran)

print(arr3.flatten())

3.数组的索引与切片

In[61]

arr5 = np.arange(0,6).reshape([2,3])

print(arr5)

print(arr5[1])

print(arr5[1][2])

print(arr5[1,2])

print(arr5[1,:])

print(arr5[:,1])

print(arr5[1,0:2])

pandas是python第三方库，提供高性能易用数据类型和分析工具。

pandas基于numpy实现，常与numpy和matplotlib一同使用更多学习，请参考pandas中文网：https://https://www.360docs.net/doc/0d14521567.html,/

Padas核心数据结构：

1.Series

Series是一种类似于一维数组的对象，它由一维数组（各种numpy数据类型）以及一组与之相关的数据标签（即索引）组成.

可理解为带标签的一维数组，可存储整数、浮点数、字符串、Python 对象等类型的数据。

In[4]

import pandas as pd

import numpy as np

s = pd.Series(['a','b','c','d','e'])

print(s)

Seris中可以使用index设置索引列表。

与字典不同的是，Seris允许索引重复

In[63]

#与字典不同的是：Series允许索引重复

s = pd.Series(['a','b','c','d','e'],index=[100,200,100,400,500]) print(s)

Series 可以用字典实例化

In[ ]

d = {'b': 1, 'a': 0, 'c': 2}

pd.Series(d)

可以通过Series的values和index属性获取其数组表示形式和索引对象

In[64]

print(s.values)

print(s.index)

In[11]

#与普通numpy数组相比，可以通过索引的方式选取Series中的单个或一组值

print(s[100])

print(s[[400, 500]])

In[3]

s = pd.Series(np.array([1,2,3,4,5]), index=['a', 'b', 'c', 'd', 'e']) print(s)

#对应元素求和

print(s+s)

#对应元素乘

print(s*3)

Series中最重要的一个功能是：它会在算术运算中自动对齐不同索引的数据

Series 和多维数组的主要区别在于，Series 之间的操作会自动基于标签对齐数据。因此，不用顾及执行计算操作的Series 是否有相同的标签。

In[11]

obj1 = pd.Series({"Ohio": 35000, "Oregon": 16000, "Texas": 71000, "Utah": 5000})

obj2 = pd.Series({"California": np.nan, "Ohio": 35000, "Oregon": 16000, "Texas": 71000})

print(obj1 + obj2)

In[6]

s = pd.Series(np.array([1,2,3,4,5]), index=['a', 'b', 'c', 'd', 'e'])

print(s[1:])

print(s[:-1])

print(s[1:] + s[:-1])

2.DataFrame

DataFrame是一个表格型的数据结构，类似于Excel或sql表

它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）用多维数组字典、列表字典生成DataFrame

In[7]

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'], 'year': [2000, 2001, 2002, 2001, 2002], 'pop': [1.5, 1.7, 3.6, 2.4, 2.9]} frame = pd.DataFrame(data)

print(frame)

In[69]

#如果指定了列顺序，则DataFrame的列就会按照指定顺序进行排列

frame1 = pd.DataFrame(data, columns=['year', 'state', 'pop'])

print(frame1)

跟原Series一样，如果传入的列在数据中找不到，就会产生NAN值

In[8]

frame2 = pd.DataFrame(data, columns=['year', 'state', 'pop', 'debt'], index=['one', 'two', 'three', 'four', 'five'])

print(frame2)

用Series 字典或字典生成DataFrame

In[9]

d = {'one': pd.Series([1., 2., 3.], index=['a', 'b', 'c']),

'two': pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])} print(pd.DataFrame(d))

In[10]

#通过类似字典标记的方式或属性的方式，可以将DataFrame的列获取为一个Series,返回的Series拥有原DataFrame相同的索引

print(frame2['state'])

列可以通过赋值的方式进行修改,例如，给那个空的“delt”列赋上一个标量值或一组值

In[11]

frame2['debt'] = 16.5

print(frame2)

In[15]

print(frame2)

frame2['new'] = frame2['debt' ]* frame2['pop']

print(frame2)

In[16]

frame2['debt'] = np.arange(5.)

print(frame2)

PIL库是一个具有强大图像处理能力的第三方库。

图像的组成：由RGB三原色组成,RGB图像中，一种彩色由R、G、B三原色按照比例混合而成。0-255区分不同亮度的颜色。

图像的数组表示：图像是一个由像素组成的矩阵，每个元素是一个RGB值

Image 是PIL 库中代表一个图像的类（对象）

In[3]

#安装pillow

#!pip install pillow

In[ ]

展示图片，并获取图像的模式，长宽，

In[18]

from PIL import Image

import matplotlib.pyplot as plt

#显示matplotlib生成的图形

%matplotlib inline

#读取图片

img = Image.open('/home/aistudio/work/yushuxin.jpg')

#显示图片

#img.show() #自动调用计算机上显示图片的工具

plt.imshow(img)

plt.show(img)

#获得图像的模式

img_mode = img.mode

print(img_mode)

width,height = img.size

print(width,height)

图片旋转

In[19]

from PIL import Image

import matplotlib.pyplot as plt

#显示matplotlib生成的图形

%matplotlib inline

#读取图片

img = Image.open('/home/aistudio/work/yushuxin.jpg')

#显示图片

plt.imshow(img)

plt.show(img)

#将图片旋转45度

img_rotate = img.rotate(45)

#显示旋转后的图片

plt.imshow(img_rotate)

plt.show(img_rotate)

图片剪切

In[20]

from PIL import Image

#打开图片

img1 = Image.open('/home/aistudio/work/yushuxin.jpg')

#剪切 crop()四个参数分别是：(左上角点的x坐标，左上角点的y坐标，右下角点的x 坐标，右下角点的y坐标)

img1_crop_result = img1.crop((126,0,381,249))

#保存图片

img1_crop_result.save('/home/aistudio/work/yushuxin_crop_result.j pg')

#展示图片

plt.imshow(img1_crop_result)

plt.show(img1_crop_result)

图片缩放

In[21]

from PIL import Image

#打开图片

img2 = Image.open('/home/aistudio/work/yushuxin.jpg')

width,height = img2.size

#缩放

img2_resize_result =

img2.resize((int(width*0.6),int(height*0.6)),Image.ANTIALIAS)

print(img2_resize_result.size)

#保存图片

img2_resize_result.save('/home/aistudio/work/yushuxin_resize_resu lt.jpg')

#展示图片

plt.imshow(img2_resize_result)

plt.show(img2_resize_result)

(319, 180)

镜像效果：左右旋转、上下旋转

In[22]

from PIL import Image

#打开图片

img3 = Image.open('/home/aistudio/work/yushuxin.jpg')

#左右镜像

img3_lr = img3.transpose(Image.FLIP_LEFT_RIGHT)

#展示左右镜像图片

plt.imshow(img3_lr)

plt.show(img3_lr)

#上下镜像

img3_bt = img3.transpose(Image.FLIP_TOP_BOTTOM)

#展示上下镜像图片

plt.imshow(img3_bt)

plt.show(img3_bt)

Matplotlib库由各种可视化类构成，内部结构复杂。

matplotlib.pylot是绘制各类可视化图形的命令字库

更多学习，可参考Matplotlib中文网：https://https://www.360docs.net/doc/0d14521567.html,

In[1]

#!pip install matplotlib

In[1]

import matplotlib.pyplot as plt

import numpy as np

#显示matplotlib生成的图形

%matplotlib inline

x = np.linspace(-1,1,50) #等差数列

y = 2*x + 1

#传入x,y,通过plot()绘制出折线图

plt.plot(x,y)

#显示图形

plt.show()

In[22]

import matplotlib.pyplot as plt

import numpy as np

x = np.linspace(-1,1,50) #等差数列

y1 = 2*x + 1

y2 = x**2

plt.figure()

plt.plot(x,y1)

plt.figure(figsize=(7,5))

plt.plot(x,y2)

plt.show()

In[23]

import matplotlib.pyplot as plt

import numpy as np

plt.figure(figsize=(7,5))

plt.plot(x,y1,color='red',linewidth=1)

plt.plot(x,y2,color='blue',linewidth=5)

plt.xlabel('x',fontsize=20)

plt.ylabel('y',fontsize=20)

plt.show()

In[25]

import matplotlib.pyplot as plt

import numpy as np

l1, = plt.plot(x,y1,color='red',linewidth=1)

l2, = plt.plot(x,y2,color='blue',linewidth=5)

plt.legend(handles=[l1,l2],labels=['aa','bb'],loc='best')

plt.xlabel('x')

plt.ylabel('y')

# plt.xlim((0,1)) #x轴只截取一段进行显示

# plt.ylim((0,1)) #y轴只截取一段进行显示

plt.show()

In[26]

# dots1 = np.array([2,3,4,5,6])

# dots2 = np.array([2,3,4,5,6])

dots1 =np.random.rand(50)

dots2 =np.random.rand(50)

plt.scatter(dots1,dots2,c='red',alpha=0.5) #c表示颜色，alpha表示透明度

plt.show()

In[13]

x = np.arange(10)

y = 2**x+10

plt.bar(x,y,facecolor='#9999ff',edgecolor='white')

plt.show()

In[14]

x = np.arange(10)

y = 2**x+10

plt.bar(x,y,facecolor='#9999ff',edgecolor='white')

for ax,ay in zip(x,y):

plt.text(ax,ay,'%.1f' % ay,ha='center',va='bottom') plt.show()