Ubuntu 14.04 + caffe安装配置详细指南

Ubuntu14.04+ caffe安装配置详细指南

Edit: Kevin (Q&A laichunren@https://www.360docs.net/doc/869621978.html,)

Reference: https://www.360docs.net/doc/869621978.html,/shiorioxy/article/details/52652831

特别说明

网上关于caffe的安装教程非常多，但是对于每一步是否操作成功，出现了什么样的错误又该如何处理却没有给出说明。因为大家的操作系统的环境千差万别，按照博客中的教程一步步的安装，最后很可能失败，有的教程甚至省略了一些细节部分，让小白更不知道如何判断每一步是否操作成功，如何处理出现的错误。

作者花费了很长时间才成功地将caffe装完，期间遇到好多错误，多次重装操作系统。现在将经验写下来，一方面为了和大家分享讨论，另一方面是为了记录一下。

1.Caffe 官网地址：https://www.360docs.net/doc/869621978.html,/

2.本文使用2016年9月27日下载的caffe-master版本，运行平台为：Ubuntu 14.04，

CUDA8.0，cuDNN v5.1，Intel Parallel Studio XE Cluster 2015，OpenCV 3.1.0, Matlab 2014b. pycharm community，anaconda( python, numpy, scipy, matplotlib, et.al.)

版本说明：

1.Ubuntu 版本问题

Ubuntu16.04是目前最新的系统，但装完cuda8.0显卡驱动，重启系统后一直在登录界面循环而无法进入，原因是ubuntu16.04与cuda8.0不兼容。Ubuntu15.04在cuda 官网上不再提供相关驱动文件（只有ubuntu16.04和ubuntu14.04的），因此还是选择

ubuntu14.04这个版本的系统。

2.GCC 和G++ 编译器版本问题

Matlab 2014b--gcc/g++ 4.7.x, Matlab 2016a--gcc/g++ 4.9.x

Ubuntu 14.04--gcc/g++ 4.8.x, Ubuntu 16.04--gcc/g++ 5.4.x

Matlab支持的编译器版本需要和Ubuntu版本一致，否则编译matcaffe时会报错，但ubuntu14.04默认装的编译器版本比Matlab2014的高，因此要按照降级（或强制安装）的方法才可以正常使用，怀疑和显卡驱动有关。

3.本文主要包含七个部分，包括：

-- 第一部分Linux（ubuntu 14.04）的安装

--第二部分gcc4.7 和g++ 4.7的安装

-- 第三部分nVidia CUDA+cudnn的安装（*.deb方法）

-- 第四部分Matlab2014b 的安装

--第五部分Pycharm的安装

-- 第六部分Anaconda的安装

-- 第七部分Caffe-Master的安装和测试

第一部分Linux安装

1.我的分区设置如下：

\ 根分区：100G，

Swap交换分区：128G（等于内存大小），小于16G的内存，就设置成内存的1.5-2倍

boot分区：200M

Home分区：剩余的空间，多多益善

2.解决启动分区错误（可选）

装双系统需要先安装Windows 再安装Ubuntu。如果遇到启动分区表损坏，需要还原Windows分区：

$ sudo gedit etc/default/grub

设置：GRUB_DEFAULT = 2

$ sudo update-grub

第二部分gcc4.7 和g++ 4.7 的安装

1.为什么要先安装GCC和G++，并需要降级呢？

Ubuntu14.04版本默认的GCC和G++都是4.8。而Matlab2014b默认支持的mex编译器是GCC4.7.x和G++4.7.x。因此需要额外安装GCC4.7和G++4.7并降级。

2.为什么需要先安装编译器GCC和G++，而不是先安装显卡驱动和cuda等等呢？

首先，先安装显卡驱动，后安装GCC并降级的安装顺序过程中，遇到了很多问题。比如，在安装CUDA SAMPLES的过程中，遇到了问题/usr/bin/ld: cannot find –lGL，后面通过网上教程，重新连接该库文件，仍然不能通过OpenCV的编译。但是，先安装GCC，再安装显卡驱动，就不会遇到这个问题了。

3.解决编译器gcc/g++版本问题。

A. 降级安装gcc/g++版本为4.7.x

$ sudo apt-get install -y gcc-4.7 g++-4.7

$ cd /usr/bin

$ sudo mv gcc gcc-4.9.2

$ sudo ln -s gcc-4.7 gcc

$ sudo mv g++ g++-4.9.2

$ sudo ln -s g++-4.7 g++

B. 暴力引用新版本GLIBCXX_3.4.20

$ sudo cp /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.20

/usr/local/MATLAB/R2014b/sys/os/glnxa64/libstdc++.so.6.0.20

$ cd /usr/local/MATLAB/R2014b/sys/os/glnxa64

$ sudo mv libstdc++.so.6 libstdc++.so.6.backup

$ sudo ln -s libstdc++.so.6.0.20 libstdc++.so.6

$ sudo ldconfig -v

通过命令“strings /usr/local/MATLAB/R2014b/sys/os/glnxa64/libstdc++.so.6 | grep GLIBCXX_” 可以看一下，是否成功包含了GLIBCXX_3.4.21，如果已经存在，基本上就成功了。

第三部分：nVidia CUDA Toolkit+cudnn的安装（*.deb方法）

1.为什么需要安装NVIDIA显卡驱动，Ubuntu没有自带的显卡驱动吗？

Ubuntu自带的显卡驱动是开源的Nouveau，但是cuda不支持Nouveau。如果想使用cuda进行GPU计算，必须安装NVIDIA显卡驱动。

2.选择哪个版本的显卡驱动呢

这个问题需要结合操作系统，操作系统影响显卡驱动的版本。比如cuda7.5需要显卡驱动最低版本是nvidia-352；cuda7.0需要显卡驱动最低版本是nvidia-336；cuda6.5需要显卡驱动最低版本是nvidia-33*；

3.显卡驱动的安装方式有哪些

方法一：去NVIDIA官网下载相应的驱动二进制安装包，然后安装。

方法二：通过apt-get来安装。

区别：apt-get安装方便，但是不能安装最新的显卡驱动，目前ubuntu14.04通过apt-get可以安装nvidia-346显卡。

安装过程中注意事项：①需要关闭显示管理器，②二进制安装需要修改文件

4.安装CUDA Toolkit

官方下载地址：https://https://www.360docs.net/doc/869621978.html,/cuda-toolkit (.deb格式)

$ sudo dpkg -i cuda-repo-ubuntu1404-8-0-local_8.0.44-1_amd64.deb

$ sudo apt-get update

$ sudo apt-get install -y cuda

5.安装nVidia cuDNN library (cudnn-8.0-linux-x64-v5.1)

官方下载地址：https://https://www.360docs.net/doc/869621978.html,/cudnn

$ tar zxvf cudnn-7.5-linux-x64-v5.1.tgz

$ cd cuda

$ sudo cp include/cudnn.h /usr/local/include

$ sudo cp lib64/libcudnn.* /usr/local/lib

$ sudo ln -sf /usr/local/lib/libcudnn.so.5.1.3 /usr/local/lib/libcudnn.so.5

$ sudo ln -sf /usr/local/lib/libcudnn.so.5 /usr/local/lib/libcudnn.so

$ sudo ldconfig –v

6.处理ubuntu 14.04 GCC版本过高，编译Caffe-master报错问题

$ sudo gedit /usr/local/cuda/include/host_config.h

搜索（Ctrl+F）：

#error -- unsupported GNU version! gcc versions later than 5.3 are not supported!

修改为：

//#error -- unsupported GNU version! gcc versions later than 5.3 are not supported!

第四部分Matlab安装和调试（Matlab 2014b）

1.下载

MATLAB 2014b 下载地址：https://https://www.360docs.net/doc/869621978.html,/s/1qYngXXi 密码: rfd2

2.直接解压matlab_R2014b.iso 到文件夹matlab_R2014b/

3.用crack 中的install.jar 替换matlab_R2014b/java/jar/ 中的install

注：解压iso 出来的文件夹很可能是只读的，所以要先给文件夹加权限。

sudo chmod a+w -R matlab_R2014b

4.运行matlab_R2014b 目录下的install：

sudo ./install

--接下来就是和windows差不多的安装界面了。

默认安装目录是/usr/local/MATALAB/R2014b/

安装密钥为：29797-39064-48306-32452

5.激活

A.其实之前的激活是不会成功的，因为还没有补丁，接下来，把Crack 中的

libmwservices.so 复制到/usr/local/MATLAB/R2014b/bin/glnxa64/ 中（覆盖原来的）：sudo cp crack/libmwservices.so /usr/local/MATLAB/R2014b/bin/glnxa64 //把补丁拷过来

B.sudo /usr/local/MATLAB/R2014b/bin/activate_matlab.sh -propertiesFile

/usr/local/MATLAB/R2014b/etc/activate.ini //执行破解命令

接下来会再次弹出让你输入证书的窗口，继续找Crack 中的license.lic

6.接下来可以设置环境变量：

sudo vim /etc/profile

在文件尾添加：

export PATH=/usr/local/MATLAB/R2014b/bin:$PATH

保存并退出后使设置生效

source /etc/profile

第五部分pycharm的安装

1.下载

https://www.360docs.net/doc/869621978.html,/pycharm/download/

选择Linux Tab，选择下载免费的Community Edition.

2.安装PyCharm

$ cd Downloads/

（1）Unpack the pycharm-*.tar.gz ：$sudo tar xfz pycharm-*.tar.gz （2）Run pycharm.sh from the bin subdirectory

3.添加桌面快捷方式（可选）

然后双击打开，再锁定到启动器就好了.

第六部分anaconda的安装

anaconda面集成了很多函数包，如ipython，mkl，numpy等都预装了，省去了很多麻烦。如果有edu 邮箱的话，还可以获得anaconda accelerate，在矩阵运算的时候，可以启用并行计算，速度快很多。

1.首先是去anoconda官网下载，需要所需版本。官网如下：

https://www.continuum.io/downloads，

2.打开终端，输入

bash ~/Downloads/Anaconda3-4.0.0-Linux-x86_64.sh #名字要换成自己对应版本的sh.

安装过程中记得一直选择默认的就行

3.是否在bashrc中添加路径，这里选择“yes”就可以，否则后面会报错，你需要将以下代

码添加到你的bash shell环境变量中。

cd ~ #转到主目录，准备执行shell，注意其他目录不行。

vim .bashrc

export PATH=”/home/username/anaconda2/bin:$PATH” #最下面一行添加就行,：wq保存退出。记得对应更改自己的用户名和anaconda名字

source .bashrc #更新

关掉终端，完成安装。

4.安装accelerate 版本（可选）

$ conda update conda

$ conda install accelerate

第七部分Caffe-Master的安装和测试

1.安装BLAS

这里可以选择（ATLAS，MKL或者OpenBLAS），我这里使用MKL，因为它最快。首先下载并安装英特尔? 数学内核库Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2015)，下载链接是：https://https://www.360docs.net/doc/869621978.html,/en-us/qualify-for-free-software/student，使用学生身份（邮件+ 学校）下载Student版，填好各种信息，可以直接下载，同时会给你一个邮件告知序列号。下载完之后，要把文件解压到home文件夹(注意任何一级文件夹不能包含空格，否则安装会失败)

$ sudotar zxvf parallel_studio_xe_2015.tar.gz （解压文件）

$ sudo chmod a+x parallel_studio_xe_2015–R(修改权限)

$ sh install_GUI.sh

PS: 安装的时候，建议使用root权限安装，设置方法：命令行：$ sudo su）

2.MKL与CUDA的环境设置

2.1新建intel_mkl.conf，并编辑之：

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf

/opt/intel/lib/intel64

/opt/intel/mkl/lib/intel64

2.2 新建cuda.conf，并编辑之：

$ sudo gedit /etc/ld.so.conf.d/cuda.conf

/usr/local/cuda/lib64

/lib

2.3完成lib文件的链接操作，执行：

$ sudo ldconfig –v

3.安装OpenCV 3.1.0

3.1 下载并编译OpenCV（官网原版OpenCV：https://www.360docs.net/doc/869621978.html,/），或者使用我提供的修改版的安装包（下面的安装方式使用该包完成，安装包修改了dependencies.sh文件并增加了OpenCV 3.0.0的安装文件）

3.2 切换到文件保存的文件夹，然后安装依赖项和OpenCV：

$ sudo sh Ubuntu/dependencies.sh

$ sudo sh Ubuntu/3.0/opencv3_0_0.sh

保证网络畅通，因为软件需要联网这里时间较长，请耐心等待。

4.安装其他依赖项

4.1Google Logging Library（glog），下载地址：https://https://www.360docs.net/doc/869621978.html,/p/google-glog/，

然后解压安装：

$ tar zxvf glog-0.3.3.tar.gz

$ ./configure

$ make

$ sudo make install

如果没有权限就sudo chmod a+w -R glog-0.3.3

4.2其他依赖项，确保都成功

$ sudo apt-get install build-essential

$ sudo apt-get install vim cmake git

$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-seri

$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler protobuf-compiler python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags cython ipython

5.安装Caffe并测试

5.1切换到Caffe-master的文件夹，生成Makefile.config配置文件，执行：

$ cp Makefile.config.example Makefile.config

5.2 配置Makefile.config文件（仅列出修改部分）

a. 启用CUDNN，去掉”#”

USE_CUDNN := 1

b. 配置一些引用文件（增加部分主要是解决新版本下，HDF5的路径问题）

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

c. 启用Intel Parallel Studio XE 2016

BLAS := mkl

d. 配置路径，实现caffe对Python和Matlab接口的支持

PYTHON_LIB := /usr/local/lib

MATLAB_DIR := /usr/local/MATLAB/R2014b

e. 启用OpenCV 3.0, 去掉”#”

OPENCV_VERSION =3

5.3配置Makefile.config文件（详细版，注意黑体字部分和anaconda部分）

vi Makefile.config #个人比较喜欢gedit Makefile.config，用起来方便。

# CPU-only switch (uncomment to build without GPU support).

CPU_ONLY := 1 #一定需要打开。

# Uncomment if you’re using OpenCV 3

# OPENCV_VERSION := 3 #用的是2.4版本不需要打开。

# To customize your choice of compiler, uncomment and set the following.

# N.B. the default for Linux is g++ and the default for OSX is clang++

# CUSTOM_CXX := g++ #已经更新到至少4.8，选择默认的就好。

# CUDA directory contains bin/ and lib/ directories that we need. #这是GPU用到的，注释掉就可以。

#CUDA_DIR := /usr/local/cuda

# On Ubuntu 14.04, if cuda tools are installed via

# "sudo apt-get install nvidia-cuda-toolkit" then use this instead:

# CUDA_DIR := /usr

# CUDA architecture setting: going with all of them.

# For CUDA < 6.0, comment the *_50 lines for compatibility. #这些部分全部注释，和我们cpu家族没有关系。

#CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \

## -gencode arch=compute_20,code=sm_21 \

# -gencode arch=compute_30,code=sm_30 \

# -gencode arch=compute_35,code=sm_35 \

# -gencode arch=compute_50,code=sm_50 \

# -gencode arch=compute_50,code=compute_50

# BLAS choice:

# atlas for ATLAS (default)

# mkl for MKL

# open for OpenBlas

BLAS := mkl#如果安装mkl并且设置好路径的可以试一下mkl，不过一般会出错，找不到lmkl 文件，建议采用atlas，简单易行。

# Custom (MKL/ATLAS/OpenBLAS) include and lib directories.

# Leave commented to accept the defaults for your choice of BLAS

# (which should work)!

# BLAS_INCLUDE := /path/to/your/blas

# BLAS_LIB := /path/to/your/blas

# Homebrew puts openblas in a directory that is not on the standard search path

# BLAS_INCLUDE := $(shell brew --prefix openblas)/include

# BLAS_LIB := $(shell brew --prefix openblas)/lib

# This is required only if you will compile the matlab interface. #python很流行，matlab暂时没安装，也就用不到了。

# MATLAB directory should contain the mex binary in /bin.

# MATLAB_DIR := /usr/local

MATLAB_DIR := /usr/local/MATLAB/R2014b

# NOTE: this is required only if you will compile the python interface.#注释掉，我们采用的时anaconda里面的python安装包。

# We need to be able to find Python.h and numpy/arrayobject.h.

#PYTHON_INCLUDE := /usr/include/python2.7 \

# /usr/lib/python2.7/dist-packages/numpy/core/include

# Anaconda Python distribution is quite popular. Include path:

# Verify anaconda location, sometimes it's in root.

ANACONDA_HOME := (HOME)/anaconda2 #文件名一定得对应好，看这些路径存在不。PYTHON_INCLUDE :=(ANACONDA_HOME)/include \

(ANACONDA_HOME)/include/python2.7 \ #因为下载的时候采用的时2.7版本的，所以这里打开 2.7版本的python。(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

# Uncomment to use Python 3 (default is Python 2)

# PYTHON_LIBRARIES := boost_python3 python3.5m

# PYTHON_INCLUDE := /usr/include/python3.5m \

# /usr/lib/python3.5/dist-packages/numpy/core/include

# We need to be able to find libpythonX.X.so or .dylib.

#PYTHON_LIB := /usr/lib

PYTHON_LIB := $(ANACONDA_HOME)/lib #更改了python的默认版本，自然需要更改lib。

# Homebrew installs numpy in a non standard path (keg only)

# PYTHON_INCLUDE += $(dir $(shell python -c 'import numpy.core;

print(numpy.core.__file__)'))/include

# PYTHON_LIB += $(shell brew --prefix numpy)/lib

# Uncomment to support layers written in Python (will link against Python libs)

# WITH_PYTHON_LAYER := 1

# Whatever else you find you need goes here.

INCLUDE_DIRS := (PYTHON_INCLUDE) /usr/local/include #python路径已经设置好，所以这里打开就行。

LIBRARY_DIRS :=(PYTHON_LIB) /usr/local/lib /usr/lib

# If Homebrew is installed at a non standard location (for example your home directory) and you use it for general dependencies

# INCLUDE_DIRS += $(shell brew --prefix)/include

# LIBRARY_DIRS += $(shell brew --prefix)/lib

# Uncomment to use `pkg-config` to specify OpenCV library paths.

# (Usually not necessary -- OpenCV libraries are normally installed in one of the above $LIBRARY_DIRS.)

# USE_PKG_CONFIG := 1

BUILD_DIR := build #编译分配用到的路径，打开即可。

DISTRIBUTE_DIR := distribute

# Uncomment for debugging. Does not work on OSX due to

https://https://www.360docs.net/doc/869621978.html,/BVLC/caffe/issues/171

# DEBUG := 1 #挑错模式，喜欢debug的朋友不妨试试。

5.4编译caffe-master！

！！”-j16”是使用CPU的多核进行编译，可以极大地加速编译的速度，建议使用。

$ make all -j16

$ make test -j16

$ make runtest -j16

$ make pycaffe -j16

$ make matcaffe -j16

5.5使用MNIST数据集进行测试

Caffe默认情况会安装在Caffe-master，就是解压到那个目录，例如：$ home/username/caffe-master，所以下面的工作，默认已经切换到了该工作目录。下面的工作主要是，用于测试Caffe是否工作正常，不做详细评估。具体设置请参考官网：https://www.360docs.net/doc/869621978.html,/gathered/examples/mnist.html

A.数据预处理

$ sh data/mnist/get_mnist.sh

B.重建lmdb文件。Caffe支持多种数据格式输入网络，包括Image(.jpg, .png等)，

leveldb，lmdb，HDF5等，根据自己需要选择不同输入吧。

$ sh examples/mnist/create_mnist.sh

生成mnist-train-lmdb 和mnist-train-lmdb文件夹，这里包含了lmdb格式的数据集

C.训练mnist

$ sh examples/mnist/train_lenet.sh

至此，Caffe安装的所有步骤完结。

附注：

如果编译还是出现错误，尽量多地Google或百度查找即可。如：

如果在make run test时候出现如下错误：

../../build/tools/train_net.bin: error while loading shared libraries: libmkl_rt.so: cannot open shared object file: No such file or directory。

后来发现此文件在/opt/intel/mkl/lib/intel64/ 中，要将此路径加入共享文件库（参照https://www.360docs.net/doc/869621978.html,/uid-26212859-id-3256667.html）

# cat /etc/ld.so.conf

include ld.so.conf.d/*.conf

# echo "/opt/intel/mkl/lib/intel64/" >> /etc/ld.so.conf

#sudo ldconfig