【面向代码】学习 Deep Learning(一)Neural Network - DarkScope从这里开始 - 博客频道 - CSDN

DarkScope从这里开始

目录视图

摘要视图

订阅

分类： 机器学习目录(?)

[+]

下载CSDN 移动客户端 微信开发学习路线高级篇上线 《Cocos3D 与Shader 从入门到精通》套餐限时优惠 恭喜博主张安站新书上市

【面向代码】学习 Deep Learning（一）Neural Network

2013-07-23 16:24

33403人阅读

评论(92) 收藏 举报

==========================================================================================最近一直在看Deep Learning ，各类博客、论文看得不少

但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng 的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github )

后来发现了一个matlab 的Deep Learning 的toolbox ，发现其代码很简单，感觉比较适合用来学习算法再一个就是matlab 的实现可以省略掉很多数据结构的代码，使算法思路非常清晰

所以我想在解读这个toolbox 的代码的同时来巩固自己学到的，同时也为下一步的实践打好基础(本文只是从代码的角度解读算法，具体的算法理论步骤还是需要去看paper 的

我会在文中给出一些相关的paper 的名字，本文旨在梳理一下算法过程，不会深究算法原理和公式)

==========================================================================================使用的代码：DeepLearnToolbox ，下载地址：点击打开，感谢该toolbox 的作者

==========================================================================================第一章从分析NN(neural network)开始，因为这是整个deep learning 的大框架，参见UFLDL

==========================================================================================首先看一下\tests\test_example_NN.m ，跳过对数据进行normalize 的部分，最关键的就是：（为了注释显示有颜色，我把matlab 代码中的%都改成了//）

[cpp]

01. nn = nnsetup([784 100 10]);

02. opts.numepochs = 1; // Number of full sweeps through data

03. opts.batchsize = 100; // Take a mean gradient step over this many samples 04. [nn, L] = nntrain(nn, train_x, train_y, opts); 05.

[er, bad] = nntest(nn, test_x, test_y);

很简单的几步就训练了一个NN ，我们发现其中最重要的几个函数就是nnsetup,nntrain 和nntest 了那么我们分别来分析着几个函数，\NN\nnsetup.m

nnsetup

[cpp]

原创：转载：译文：评论：个人资料

Dark_Scope

访问：积分：等级：

排名：个人介绍

DarkScope ，喜欢机器学习和一些ACM 算法//学习ing//求交流，求指教！=新浪微博 我是Darkscope

文章搜索

博客专栏

机器学习从原理到实践文章：5篇阅读：65487

文章分类C++ACM 杂七杂八ASM QT 相关机器学习大学杂念集C/C++机器学习读书笔记a learner,like Machine Learning.

登录 | 注册

363230次4212第3560名76篇2篇0篇

522条

(3)(6)(9)(5)(2)(39)(6)(1)

(4)

01. function nn = nnsetup(architecture)

02. //首先从传入的architecture 中获得这个网络的整体结构，nn.n 表示这个网络有多少层，可以参照上面的样例调用nnsetup([784 100 10])加以理解 03.

04. nn.size = architecture; 05. nn.n = numel(nn.size);

06. //接下来是一大堆的参数，这个我们到具体用的时候再加以说明

07. nn.activation_function = 'tanh_opt'; // Activation functions of hidden layers: 'sigm' (sigm

08.

nn.learningRate = 2; // learning rate Note: typically needs to be lower whe normalized inputs.

09.

nn.momentum = 0.5; // Momentum

10. nn.scaling_learningRate = 1; // Scaling factor for the learning rate (each epoch)11. nn.weightPenaltyL2 = 0; // L2 regularization 12. nn.nonSparsityPenalty = 0; // Non sparsity penalty 13. nn.sparsityTarget = 0.05; // Sparsity target

14. nn.inputZeroMaskedFraction = 0; // Used for Denoising AutoEncoders

15. nn.dropoutFraction = 0; // Dropout level (https://www.360docs.net/doc/6711066273.html,/~hinton/ab 16. nn.testing = 0; // Internal variable. nntest sets this to one.

17. nn.output = 'sigm'; // output unit 'sigm' (=logistic), 'softmax' and 'line 18. //对每一层的网络结构进行初始化，一共三个参数W,vW ，p ，其中W 是主要的参数 19. //vW 是更新参数时的临时参数，p 是所谓的sparsity ，(等看到代码了再细讲) 20. for i = 2 : nn.n

21.

// weights and weight momentum

22. nn.W{i ‐ 1} = (rand(nn.size(i), nn.size(i ‐ 1)+1) ‐ 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i ‐ 1

23. nn.vW{i ‐ 1} = zeros(size(nn.W{i ‐ 1}));

24.

25. // average activations (for use with sparsity)

26. nn.p{i} = zeros(1, nn.size(i));

27. end

28. end nntrain

setup 大概就这样一个过程，下面就到了train 了，打开\NN\nntrain.m 我们跳过那些检验传入数据是否正确的代码，直接到关键的部分

denoising 的部分请参考论文：Extracting and Composing Robust Features with Denoising Autoencoders

[cpp]

01. m = size(train_x, 1); 02. //m 是训练样本的数量 03. //注意在调用的时候我们设置了opt ，batchsize 是做batch gradient 时候的大小 04. batchsize = opts.batchsize; numepochs = opts.numepochs; 05. numbatches = m / batchsize; //计算batch 的数量

06. assert(rem(numbatches, 1) == 0, 'numbatches must be a integer'); 07. L = zeros(numepochs*numbatches,1);

08. n = 1;

09. //numepochs 是循环的次数

10. for i = 1 : numepochs 11. tic; 12. kk = randperm(m);

13. //把batches 打乱顺序进行训练，randperm(m)生成一个乱序的1到m 的数组 14.

for l = 1 : numbatches

15.

batch_x = train_x(kk((l ‐ 1) * batchsize + 1 : l * batchsize), :);

16. //Add noise to input (for use in denoising autoencoder) 17. //加入noise ，这是denoising autoencoder 需要使用到的部分

18. //这部分请参见《Extracting and Composing Robust Features with Denoising Autoencoders 》这篇

论文

19. //具体加入的方法就是把训练样例中的一些数据调整变为0，inputZeroMaskedFraction 表示了调整的比例 20. if (nn.inputZeroMaskedFraction ~= 0)

21. batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction); 22. end

23. batch_y = train_y(kk((l ‐ 1) * batchsize + 1 : l * batchsize), :); 24. //这三个函数

25. //nnff 是进行前向传播，nnbp 是后向传播，nnapplygrads 是进行梯度下降 26. //我们在下面分析这些函数的代码

27. nn = nnff(nn, batch_x, batch_y); 28. nn = nnbp(nn);

29. nn = nnapplygrads(nn); 30. L(n) = nn.L; 31. n = n + 1; 32. end 33.

展开

修身养性冶情web 相关nlp 代码趣写算法系列文章存档

2015年07月2015年03月2015年02月2014年05月2013年12月阅读排行

AdaBoost--从原理到实现【面向代码】学习 Deep Learning （一）Neural Network

【面向代码】学习 Deep Learning （三）Convolution Neural Network(CNN)

【面向代码】学习 Deep Learning （二）Deep Belief Nets(DBNs)GBDT(Gradient Boosting D 没有实现只有原理

趣写算法系列之--匈牙利算法

新浪微博小爬虫

【面向代码】学习 Deep Learning （四） Stacked Auto-Encoders(SAE)

从item-base 到svd 再到rbm ，多种Collaborative Filtering(协同过滤算法)从原理到实现UFLDL 练习(Sparse Autoencoder)

评论排行

【面向代码】学习 Deep Learning （一）Neural Network

【面向代码】学习 Deep Learning （二）Deep Belief Nets(DBNs)趣写算法系列之--匈牙利算法【面向代码】学习 Deep Learning （三）Convolution Neural Network(CNN)

新浪微博小爬虫AdaBoost--从原理到实现从item-base 到svd 再到rbm ，多种Collaborative Filtering(协同过滤算法)从原理到实现UFLDL 练习(Sparse Autoencoder)GBDT(Gradient Boosting D 没有实现只有原理

我的2012

推荐文章

* 最老程序员创业开发实训4--IOS 平台下MVC 架构

* Android 基础入门教程--6.1 数据存储与访问之--文件存储读写* 聊天界面的制作（三）--表情列表发送功能

* Linux 下编程--文件与IO （三）文件共享和fcntl 函数

* Windows 多进程通信API 总结

(3)(4)(6)(12)(1)

(1)(1)(1)(2)(2)

(39269)(33369)

(31366)

(25654)

(19562)

(17884)

(15480)

(12900)

(12804)

(12276)

(92)(81)(57)

(45)(43)

(29)(25)(24)(19)(13)

34. t = toc;

35.

if ishandle(fhandle)

36. if opts.validation == 1

37. loss = nneval(nn, loss, train_x, train_y, val_x, val_y);

38. else

39. loss = nneval(nn, loss, train_x, train_y);

40. end

41. nnupdatefigures(nn, fhandle, loss, opts, i); 42. end 43.

44. disp(['epoch ' num2str(i) '/' num2str(opts.numepochs) '. Took ' num2str(t) ' seconds' '. Mean squared error

numbatches):(n‐1))))]); 45. nn.learningRate = nn.learningRate * nn.scaling_learningRate; 46.

end

下面分析三个函数nnff,nnbp 和nnapplygrads nnff

nnff 就是进行feedforward pass ，其实非常简单，就是整个网络正向跑一次就可以了当然其中有dropout 和sparsity 的计算

具体的参见论文“Improving Neural Networks with Dropout “和Autoencoders and Sparsity

[cpp]

01. function nn = nnff(nn, x, y)

02. //NNFF performs a feedforward pass

03. // nn = nnff(nn, x, y) returns an neural network structure with updated 04. // layer activations, error and loss (nn.a, nn.e and nn.L) 05.

06. n = nn.n;

07. m = size(x, 1); 08.

09. x = [ones(m,1) x];

10. nn.a{1} = x; 11.

12. //feedforward pass 13. for i = 2 : n‐1

14. //根据选择的激活函数不同进行正向传播计算

15. //你可以回过头去看nnsetup 里面的第一个参数activation_function

16. //sigm 就是sigmoid 函数,tanh_opt 就是tanh 的函数，这个toolbox 好像有一点改变 17. //tanh_opt 是1.7159*tanh(2/3.*A) 18. switch nn.activation_function 19. case 'sigm'

20. // Calculate the unit's outputs (including the bias term) 21. nn.a{i} = sigm(nn.a{i ‐ 1} * nn.W{i ‐ 1}'); 22. case 'tanh_opt'

23. nn.a{i} = tanh_opt(nn.a{i ‐ 1} * nn.W{i ‐ 1}'); 24. end

25.

26. //dropout 的计算部分部分 dropoutFraction 是nnsetup 中可以设置的一个参数 27. if (nn.dropoutFraction > 0) 28. if (nn.testing)

29. nn.a{i} = nn.a{i}.*(1 ‐ nn.dropoutFraction);

30. else

31. nn.dropOutMask{i} = (rand(size(nn.a{i}))>nn.dropoutFraction); 32. nn.a{i} = nn.a{i}.*nn.dropOutMask{i}; 33. end 34. end

35. //计算sparsity ，nonSparsityPenalty 是对没达到sparsitytarget 的参数的惩罚系数 36. //calculate running exponential activations for use with sparsity 37. if (nn.nonSparsityPenalty>0)

38. nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1); 39. end

40.

41. //Add the bias term

42. nn.a{i} = [ones(m,1) nn.a{i}]; 43. end

44. switch nn.output

45. case 'sigm'

46. nn.a{n} = sigm(nn.a{n ‐ 1} * nn.W{n ‐ 1}'); 47. case 'linear'

48.

nn.a{n} = nn.a{n ‐ 1} * nn.W{n ‐ 1}';

* libuv 里的几个缺陷

最新评论

【面向代码】学习 Deep Learning （三）Convolution Neural Network(CNN)

霏霏雾语: @ak747747: 你好！

我最近刚接触CNN ，也遇到跟你

当年一样的问题，训练数据全部被分成了同一个...趣写算法系列之--匈牙利算法

shenshuiyanshen : 真是通俗易

懂，只是复杂度有点高了趣写算法系列之--匈牙利算法liuke19950717: 谢谢！好像这个匹配的目的只是实现最大匹配，并不一定是唯一的最大匹配方案

【面向代码】学习 Deep Learning （二）Deep Belief Nets(DBNs)u011160719: 请问你是怎么解决的啊？谢啦

RNN 以及LSTM 的介绍和公式梳理Dark_Scope : @shincling:嗯嗯，对的

RNN 以及LSTM 的介绍和公式梳理shincling : 最后一个公式是不是有问题，最后一项的a 都应该变成a 才对吧。跟4.11的公式对比来看，g 这个泛指应该...AdaBoost--从原理到实现

Dark_Scope : @tulip561:选择一个纬度对样本分类

RNN 以及LSTM 的介绍和公式梳理MMA420: 版主您好,我個人認為Forget Gate 是拿來汰換主詞跟代名詞用的,舉個例子來說就是 菁菁在吃飯,...

RNN 以及LSTM 的介绍和公式梳理MMA420: 版主您好,我個人覺得forget gate 是拿來決定汰換主詞變成代名詞用的,像是 菁菁在吃飯,"她...

AdaBoost--从原理到实现

tulip561: 请教一个问题，如果是多维数据，弱分类器是对所有样本每一个维度进行分类的，还是对每一个样本进行分类的

49. case 'softmax'

50. nn.a{n} = nn.a{n ‐ 1} * nn.W{n ‐ 1}';

51. nn.a{n} = exp(bsxfun(@minus, nn.a{n}, max(nn.a{n},[],2)));

52. nn.a{n} = bsxfun(@rdivide, nn.a{n}, sum(nn.a{n}, 2));

53. end

54. //error and loss

55. //计算error

56. nn.e = y ‐ nn.a{n};

57.

58. switch nn.output

59. case {'sigm', 'linear'}

60. nn.L = 1/2 * sum(sum(nn.e .^ 2)) / m;

61. case 'softmax'

62. nn.L = ‐sum(sum(y .* log(nn.a{n}))) / m;

63. end

64. end

nnbp

代码：\NN\nnbp.m

nnbp呢是进行back propagation的过程，过程还是比较中规中矩，和ufldl中的Neural Network讲的基本一致值得注意的还是dropout和sparsity的部分

[cpp]

01. if(nn.nonSparsityPenalty>0)

02. pi = repmat(nn.p{i}, size(nn.a{i}, 1), 1);

03. sparsityError = [zeros(size(nn.a{i},1),1) nn.nonSparsityPenalty * (‐

nn.sparsityTarget ./ pi + (1 ‐ nn.sparsityTarget) ./ (1 ‐ pi))];

04. end

05.

06. // Backpropagate first derivatives

07. if i+1==n % in this case in d{n} there is not the bias term to be removed

08. d{i} = (d{i + 1} * nn.W{i} + sparsityError) .* d_act; // Bishop (5.56)

09. else // in this case in d{i} the bias term has to be removed

10. d{i} = (d{i + 1}(:,2:end) * nn.W{i} + sparsityError) .* d_act;

11. end

12.

13. if(nn.dropoutFraction>0)

14. d{i} = d{i} .* [ones(size(d{i},1),1) nn.dropOutMask{i}];

15. end

这只是实现的内容，代码中的d{i}就是这一层的delta值，在ufldl中有讲的

dW{i}基本就是计算的gradient了，只是后面还要加入一些东西，进行一些修改

具体原理参见论文“Improving Neural Networks with Dropout“ 以及 Autoencoders and Sparsity的内容nnapplygrads

代码文件：\NN\nnapplygrads.m

[cpp]

01. for i = 1 : (nn.n ‐ 1)

02. if(nn.weightPenaltyL2>0)

03. dW = nn.dW{i} + nn.weightPenaltyL2 * nn.W{i};

04. else

05. dW = nn.dW{i};

06. end

07.

08. dW = nn.learningRate * dW;

09.

10. if(nn.momentum>0)

11. nn.vW{i} = nn.momentum*nn.vW{i} + dW;

12. dW = nn.vW{i};

13. end

14.

15. nn.W{i} = nn.W{i} ‐ dW;

16. end

顶

20

踩

上一篇趣写算法系列之--匈牙利算法

下一篇

【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)

主题推荐深度学习代码网络博客class

猜你在找

这个内容就简单了，nn.weightPenaltyL2 是weight decay 的部分，也是nnsetup 时可以设置的一个参数有的话就加入weight Penalty ，防止过拟合，然后再根据momentum 的大小调整一下，最后改变nn.W{i}即可

nntest

nntest 再简单不过了，就是调用一下nnpredict ，在和test 的集合进行比较

[cpp]

01. function [er, bad] = nntest(nn, x, y) 02. labels = nnpredict(nn, x); 03. [~, expected] = max(y,[],2); 04. bad = find(labels ~= expected); 05. er = numel(bad) / size(x, 1); 06.

end

nnpredict

代码文件：\NN\nnpredict.m

[cpp]

01. function labels = nnpredict(nn, x) 02. nn.testing = 1;

03. nn = nnff(nn, x, zeros(size(x,1), nn.size(end))); 04. nn.testing = 0;

05.

06. [~, i] = max(nn.a{end},[],2); 07. labels = i; 08.

end

继续非常简单，predict 不过是nnff 一次，得到最后的output~~

max(nn.a{end},[],2)? 是返回每一行的最大值以及所在的列数，所以labels 返回的就是标号啦(这个test 好像是专门用来test 分类问题的，我们知道nnff 得到最后的值即可)

总结

总的来说，神经网络的代码比较常规易理解，基本上和UFLDL 中的内容相差不大 只是加入了dropout 的部分和denoising 的部分

本文的目的也不奢望讲清楚这些东西，只是给出一个路线，可以跟着代码去学习，加深对算法的理解和应用能力

版权声明：本文为博主原创文章，未经博主允许不得转载。

有趣的算法（数据结构）

数据结构和算法

Java经典算法讲解

Spark应用实战

Storm应用开发系列从入门到精通

查看评论

35楼 jelly128 2015-07-08 16:37发表

小白请问 batchsize指的是什么？？？

34楼 随霜如影0514 2015-05-15 19:37发表

博主，你好，看了你这篇代码的分析，觉得分析的很有条理，但是有一个问题，想请教一下，在nnff文件中，有这么一句代码：nn.a{n} = exp(bsxfun(@minus, nn.a{n}, max(nn.a{n},[],2)))?

我觉得这句话好想有问题，为什么要减去最大值？我个人觉得应该是nn.a{n} = exp(nn.a{n})?

Re: Liu_LongPo 2015-05-17 10:52发表

回复u010160644：这是为了防止softmax模型出现过拟合，因为指数计算exp得到的结果可能会非常大，这时候就

会出现过拟合。同时由于softmax模型的特点：参数冗余。所以减去最大值不会造成影响，同时也防止过拟合的出

现。

33楼 冰帝YS 2015-04-29 17:20发表

博主，我尝试运行了sae的文件（test_example_SAE，已经将所需函数放置同一目录），但是出现：

》错误使用 horzcat

》内存不足。请键入 HELP MEMORY 查看选项。

的内容，请问是怎么一回事，m文件中都没有horzcat啊？！

32楼 strangerg__ 2015-03-02 20:19发表

博主，你好，我想问一下你用这个方法在mnist上测试效果怎么样？

31楼 热带仙人球 2015-01-27 02:33发表

大神你好，我想问问回归，如果一个N类的分类问题，train_y就应该是一个N维的向量，并且只有其中一个为1，其他的都是0，这个我明白，那么对于回归问题呢，如果我是预测温度这种连续变量，那么，是不是train_y直接是一个数量就好了？？

Re: yyjiang672 2015-07-17 18:22发表

解决了吗，偶也想做回归啊？？？

30楼 热带仙人球 2015-01-27 02:32发表

大神你好，我想问问回归，如果一个N类的分类问题，train_y就应该是一个N维的向量，并且只有其中一个为1，其他的都是0，这个我明白，那么对于回归问题呢，如果我是预测温度这种连续变量，那么，是不是train_y直接是一个数量就好了？？

29楼 dashuobi 2015-01-26 17:38发表

楼主，这篇文章写的很好，整个网络的流程我已经明白了，但是有个蛋疼的问题么就是这里面的sparsity不是特别明白，感觉用的不是ufldl里的相对熵，求楼主指点一下

Re: Dark_Scope 2015-01-26 18:11发表

回复dashuobi：是的吧，你看bp里面的公式和ufldl一样的啊

Re: dashuobi 2015-01-26 21:44发表

回复Dark_Scope：哦哦哦，刚才认真看了下，是一样的，不好意思哈。对了博主，调参方面有没有什么

建议，我现在跑SADE的效果不是特别满意，也不知道怎么调，感觉怎么调都不顺心

28楼 他山烈石 2015-01-12 16:10发表

博主你好，我刚接触深度学习，看了你的博客感觉很厉害，在这里请教一个问题。我下载了deeplearntoolbox，然后在matlab 上运行DBN那个test的时候，需要自己设置参数吗？（我的意思是不用任何操作，直接就能让程序跑起来？） 我的目的就是想跑一跑DBN那个样例。谢谢

Re: Dark_Scope 2015-01-12 16:47发表

回复sdhahaha945：不用吧，直接跑，注意吧工具包的路径添加好就行了

Re: 他山烈石 2015-01-12 16:12发表

回复sdhahaha945：希望其他人也能帮忙解答一下，谢谢

27楼 bai_sha123 2015-01-12 10:06发表

博主，请问一下，这个NN跟前馈神经网络的相同和不同点

26楼 budiubuding 2014-12-16 21:08发表

想问一下博主，有没有用深度学习做过回归的实验，我做回归，一直只预测出一个结果，好纠结啊，很期待您的回答

Re: 热带仙人球 2015-01-27 10:59发表

回复u013894894：做好了么，我也没法回归

25楼 ggookkee 2014-11-30 10:07发表

深度真的很好？在无监督训练阶段，每个RBM的训练都是有误差的，每增加一层误差都会累积一些，怎么可能深度越多越

好。。。。我怎么感觉只有一层RBM的时候最好。。。。

Re: Dark_Scope 2014-11-30 12:50发表

回复ggookkee：现在貌似都没人用RBM了，工业界

24楼 qq_19875069 2014-10-16 16:34发表

楼主你好，请问我在运行NN的程序时出现以下错误是怎么回事啊？

Attempted to access lmisys(4)? index out of bounds because

numel(lmisys)=3.

Error in lmiunpck (line 23)

rs=lmisys(4)? rv=lmisys(5)? % row sizes of LMISET,LMIVAR

Error in nnsetup (line 26)

[LMI_set,LMI_var,LMI_term,data]=lmiunpck(lmisys)?

Error in test_example_NN (line 15)

nn = nnsetup([784 100 10])?

谢谢楼主~~

23楼 wmy3211 2014-10-14 16:25发表

谢谢博主~ 看了你的帖子，帮助很大~~

有一个地方不明白，希望博主指点一下

// Backpropagate first derivatives

if i+1==n % in this case in d{n} there is not the bias term to be removed

d{i} = (d{i + 1} * nn.W{i} + sparsityError) .* d_act? // Bishop (5.56)

else // in this case in d{i} the bias term has to be removed

d{i} = (d{i + 1}(:,2:end) * nn.W{i} + sparsityError) .* d_act?

这一段里面，为什么要把偏置b去除，偏置b不就不能更新了？

Re: Dark_Scope 2014-10-14 19:31发表

回复wmy3211：往回传的没有下一层bias传到上一层节点的线，你看下那个图

Re: wmy3211 2014-10-15 16:23发表

回复Dark_Scope：是不是因为求导数的结果与偏置b无关？

22楼 stridehuan 2014-08-28 10:01发表

想问一下楼主，nnbp.m中的

switch nn.output

case 'sigm'

d{n} = - nn.e .* (nn.a{n} .* (1 - nn.a{n}))?

case {'softmax','linear'}

d{n} = - nn.e?

end

d{n}是最后一层的delta值，这样的话d{n} 不就是- nn.e吗，为什么还要乘上(nn.a{n} .* (1 - nn.a{n}))，它跟nn.output有什么关系Re: Dark_Scope 2014-08-28 14:19发表

回复u012822866：乘的那个是sigmoid函数导数的形式，output的形式不同，求导的方法也不同

Re: stridehuan 2014-08-28 14:46发表

回复Dark_Scope：额，是我自己理解错了，感谢博主的回答

21楼 sijiangLu 2014-08-15 15:35发表

抱歉再问一个问题， test_example_NN里面有一段normalize data:

test_x = normalize(test_x, mu, sigma)?

这个函数matlab里面默认的是一个神经网络工具包里面的函数， 和这里的接口不一样啊， 想问下楼主是怎么处理的

Re: sijiangLu 2014-08-15 21:12发表

回复sijiangLu：不好意思！这个搞定了：-）

麻烦再问个问题 。。。哈哈

我看他做SAE的例子，先用SAE无监督学习特征，之后定义一个nn，把前面 SAE中学到的特征 （其实就是权重）赋

给nn的隐层，最后用有监督方式训练这个nn得到输出。我的理解，其实在隐层顶部放置的分类器不一定要nn的输出

层，也可以是别的比如SVM，想问下楼主这种应该怎么做呢？如下图

SAE输入--》SAE隐层1。。。--》SAE隐层N(作为SVM输入)--》SVM输出

Re: andeyeluguo 2014-11-11 14:41发表

回复sijiangLu：请问你是怎样搞定的，我也出现了相同的问题。打开normalize。m文件后发现没有代码Re: Dark_Scope 2014-08-15 22:10发表

回复sijiangLu：必须可以啊，训练好，直接每次数据进来了跑一次ff，把隐藏层作为新特征就好了

Re: sijiangLu 2014-08-18 15:38发表

回复Dark_Scope：感谢楼主回复! 想问下你说吧隐藏层作为新的特征输入是什么意思, 因为如

果直接用sae.ae{2}.a(2) 作为输出的话是和你使用什么样的activation function有关的. 我理解

是在训练好sae之后得到输入层到隐藏层(假设只有一层)的权重矩阵, 在去掉bias term之后把

你需要的输入乘以这个矩阵即可

train_data = train_data*W'?

还是说用sae.ae{2}.a{2}来作为新的特征?

不知道我这样问是否清楚...

Re: Dark_Scope 2014-08-18 16:49发表

回复sijiangLu：你如果有多层还不是要用激活函数，反正最后出去的时候用不用激活函数

都是可以的，但效果怎么样的就不知道了

Re: sijiangLu 2014-08-20 08:57发表

回复Dark_Scope：多谢答疑! 用不用激活函数都可以? 我去研究研究效果...楼主大人用过

这种只把SAE作为feature extractor的做法么? 如果有可否介绍下效果? 我在做的数据集特

征维度并不是很大, 数据量/特征 比较大, 希望用多个隐层提取特征. 新手菜鸟, 多多指教!

20楼 sijiangLu 2014-08-15 13:44发表

楼主你好,想请教一下,这个工具箱里有设置sparse autoencoder的函数么?

Re: Dark_Scope 2014-08-15 13:51发表

回复sijiangLu：有的，sparsity相关的参数就是干这个的

Re: sijiangLu 2014-08-15 14:54发表

回复Dark_Scope：谢谢楼主大牛回复. 我有这个疑问是因为我在你这里和其他一些ML的blog里面看到有

人用这个工具包, 但是里面的例子有CNN, NN, stacked autoencoder, 但是没有Ng的讲义里面的那个

sparse autoencoder(SAE)的例子. 我现在想做的主要是SAE, 想利用来提高学习特征的效率. 不知道你能

不能讲一下这个工具包里面用哪些函数,或者修改那个例子可以先做一个SAE出来呢?

多谢!

19楼 gogo00007 2014-08-14 17:23发表

nnff函数里的第29行，在test的时候，为啥没有用dropOutMask？而训练的时候却用到了？是代码的问题么？

Re: Dark_Scope 2014-08-14 18:59发表

回复gogo00007：dropout就是这样的，预测的时候取百分比，训练的时候选部分数据训练

18楼 沧海1梦 2014-07-27 10:05发表

Error using load

Unable to read file mnist_uint8: No such file or directory.

Error in test_example_NN (line 2)

load mnist_uint8?

博主你好，我是新人，运行工具箱下的\tests\test_example_NN.m，出现以上的错误，是什么原因，希望能得到您的解答

Re: sijiangLu 2014-08-15 15:34发表

回复cwt19902010：刚才看了一下, 抱歉可能有误. mnist_uint8这个数据应该是有的，在工具包的data文件夹里面。

你在matlab set path里面设置一下这个文件夹的路径应该就可以了

Re: sijiangLu 2014-08-15 15:05发表

回复cwt19902010：这个在那位写工具箱的仁兄已经说得很清楚了,为了控制大小,它删除了所有的数据包. 这个数据

包可以下到的, 你可以自己处理一下

Re: 沧海1梦 2014-08-17 10:14发表

回复sijiangLu：嗯 是的，后来我下了一个，添加好路径就可以运行了，谢谢您了

17楼 TransXD 2014-07-13 15:23发表

博主，请问如果用这个工具箱 不做分类问题 做回归问题的话，是不是nnpredict的那部分代码得改一下的说？只需要改

nnpredict么？bp跟ff还需要再改么？

16楼 Dark_Scope 2014-06-07 10:43发表

回复x14732：https://https://www.360docs.net/doc/6711066273.html,/rasmusbergpalm/DeepLearnToolbox/blob/master/NN/nneval.m 这个函数，就在文件下面的15楼 budiubuding 2014-05-28 15:44发表

博主，您好，我是刚开始学习深度学习，请问这个NN网络是否就是多层的BP网络，如果不是，有哪些区别呢，非常期待您的解答

Re: Dark_Scope 2014-05-28 17:56发表

回复u013894894：就是BP，只是加了一点trick，但还是BP

Re: budiubuding 2014-05-28 18:01发表

回复Dark_Scope：谢谢博主，您说的trick我不是很懂，在这里是技巧的意思吗？

Re: Dark_Scope 2014-05-29 08:55发表

回复u013894894：嗯，momentum和dropout什么的

14楼 sukoz 2014-05-15 10:43发表

你好博主！想请问一下

case 'sigm'

d_act = nn.a{i} .* (1 - nn.a{i})?

case 'tanh_opt'

d_act = 1.7159 * 2/3 * (1 - 1/(1.7159)^2 * nn.a{i}.^2)?

是怎么得出的？如果换成是其他的激活函数要怎么求出呢？

Re: Dark_Scope 2014-05-15 19:58发表

回复sukoz：这就是激活函数的导数啊，第二个只是和常规tanh有一个变形而已啊

Re: sukoz 2014-05-15 21:38发表

回复Dark_Scope：那nnbp中，最后的部分是除了输出层外，其他各层的权值更新吗？如果想换成别的

激活函数，dW是不也在那里修改呢？多谢啦

Re: Dark_Scope 2014-05-16 12:35发表

回复sukoz：前向和后向的激活函数和激活函数的导数是对应的，当然每一层参数都是要更新

的

13楼 wzw12315 2014-03-25 15:29发表

for i = 2 : nn.n

// weights and weight momentum

nn.W{i - 1} = (rand(nn.size(i), nn.size(i - 1)+1) - 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i - 1)))?

nn.vW{i - 1} = zeros(size(nn.W{i - 1}))?

// average activations (for use with sparsity)

nn.p{i} = zeros(1, nn.size(i))?

楼主你好，上面是在nnsetup中的一段代码。rand(nn.size(i), nn.size(i - 1)+1) 这个随机生成的矩阵的列多加了一列，是偏移值bias吗？感觉也不对，因为偏移值bias应该以1 x nn.size(i)的

Re: Dark_Scope 2014-03-25 18:58发表

回复wzw12315：你要看这个W是连接哪一层的，况且这增加的一列的大小就是nn.size(i)啊…………

Re: whjxnyzh 2015-01-18 09:53发表

回复Dark_Scope：不是吧。为啥nn.size(i - 1)+1呢

12楼 wzw12315 2014-02-22 16:53发表

n = nn.n? % n==3???

sparsityError = 0?

switch nn.output

case 'sigm'

d{n} = - nn.e .* (nn.a{n} .* (1 - nn.a{n}))?

case {'softmax','linear'}

d{n} = - nn.e?

end

你好，在nnbp函数有一段代码，我不明白呢？d{n} = - nn.e .* (nn.a{n} .* (1 - nn.a{n}))?和 d{n} = - nn.e?中的d{n}指的是什么

呢？？不是sigm函数的导数啊，不知道为什么乘以- nn.e 。

for i = (n - 1) : -1 : 2

% Derivative of the activation function

switch nn.activation_function

case 'sigm'

d_act = nn.a{i} .* (1 - nn.a{i})?

case 'tanh_opt'

d_act = 1.7159 * 2/3 * (1 - 1/(1.7159)^2 * nn.a{i}.^2)?

end

这段代码才是求输出层激活函数的导数的吧？

Re: Dark_Scope 2014-02-22 19:10发表

回复wzw12315：这是back propagation用的参数啊，乘以e那是最后一层的error乘进去的~~~~~

11楼 wzw12315 2014-02-21 10:13发表

>test_example_NN

Undefined function 'normalize' for input arguments of type

'double'.

Error in test_example_NN (line 11)

test_x = normalize(test_x, mu, sigma)?

楼主你好，我在deellearningtoolbox下载的NN代码并不能执行，出现一些函数错误，当我注销normalize函数时，下面的代码还会出现其他函数的错误，请问你是否遇到过呢？？如何解决？

Re: Dark_Scope 2014-02-21 10:30发表

回复wzw12315：他有个util的文件夹，你加入到matlab路径里面没

Re: wzw12315 2014-02-22 16:04发表

回复Dark_Scope：谢谢，已经弄好了，是路径问题。

10楼 liwei_yezi 2014-01-10 13:05发表

请问一楼楼主？1、nnsetup中隐含层100是自己定义呢？还是说必须如此？2、输出层的10，是因为结果是0~9这10个数字吗？

假如用在人脸库，人脸库中有40个人，那么输出层应该是40个结点，是不是这样的？3、如果是这样，那我们做mat文件时，train_x和test_x直接存入图片即可，每一行代表一个人，列数代表样本集中人的总个数；而train_y和test_y则是我们自己定义的数据，每一行代表一个人，其中只有一个是1，其他都是0，列数代表样本集中人的总个数。不知道我理解的对不对，而非常期待博主回答~~~

Re: zhangwen997494912 2014-10-20 12:12发表

回复liwei_yezi：我想问一下做人脸识别时，是直接将图片的像素存为所需要的向量格式，还是对图像有一个预处理

之后再存为所需要的数据格式？麻烦你啦！

Re: Dark_Scope 2014-01-10 13:42发表

回复liwei_yezi：1.自己定义 2.如果是分类的话，是的。3.不能直接存图片吧，应该是一张图片变成一个向量这样，

一个训练样例是一个向量+一个长度为40的向量y，y中有一个 1，其它是0。推荐看看这个tutorial ：

https://www.360docs.net/doc/6711066273.html,/wiki/index.php/UFLDL_Tutorial

Re: liwei_yezi 2014-01-10 14:18发表

回复Dark_Scope：我的意思就是那样，把图片转换成一个行向量然后存储在矩阵中，刚才在ORL库上

做了实验，NN训练，测试效果不好，error达到了0.5，请问一下博主，这个结果是正常的吗？（我训练

样本和测试样本是1:1）

Re: Dark_Scope 2014-01-10 14:35发表

回复liwei_yezi：实际的数据库我真没怎么做过，建议找一找在相关数据集上测试过的算法和

paper看一看结果怎么样再来判断

Re: liwei_yezi 2014-01-10 14:53发表

回复Dark_Scope：我也想找，无奈DL在人脸识别方向资料不多而且是新鲜东西，源码基

本山没有公布，如果博主有这方面资料，麻烦和我共享一下，非常感谢，我急用中

Re: Dark_Scope 2014-01-10 16:12发表

回复liwei_yezi：找找以前的嘛，DL比以前好点儿，但那是很精细调过参数之后的，能达

到以前的最好精度就不错了

Re: liwei_yezi 2014-01-10 16:19发表

回复Dark_Scope：多谢博主耐心解答，应该是训练数据太小，所以肯定学不到好的特

征，识别率自然降低，官网上只提供mnist库，如果有人脸库就好了！另外博主有没有

用DL做过应用，在哪些方面跑出过比较好的结果？可否提供一个较好，有代码可参考

的应用方向，或者是工程文件（一直问问题，都不好意思了，如果博主方便，可以加我

QQ896565662）

9楼 guanyuechen 2014-01-09 21:41发表

博主，您好！我刚接触Deep Learning，你写的博客对我帮助很大。现在我用自己的数据运行DBN时，出现了问题，想请教你一下。错误提示如下，主要出在nntrain中，所以我在这篇博客下提问的，还麻烦你指导一下。我的训练数据是 20000*1024 (32*32的图像)，其他参数都没修改。

Error using -

Matrix dimensions must agree.

Error in nnff (line 52)

nn.e = y - nn.a{n}?

Error in nntrain (line 51)

nn = nnff(nn, batch_x, batch_y)?

Error in my_DBN (line 43)

nn = nntrain(nn, train_x,train_y, opts)?

先谢谢你啦~

Re: liwei_yezi 2014-01-10 12:40发表

回复guanyuechen：楼上是否在训练人脸库，如果是的话可以一起交流~~~QQ

896565662,PS:非常欣赏楼主刻苦钻研和奉献的精神

Re: Dark_Scope 2014-01-09 23:27发表

回复guanyuechen：你打印下size(y)和size(nn.a{n})看看是多少啊，如果什么都没改的话应该是传进去的数据格式

有问题吧

8楼 m_donna 2014-01-08 12:00发表

请问 nn.W{i - 1} = (rand(nn.size(i), nn.size(i - 1)+1) - 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i - 1)))? 这样初始化权重的依据是什么呢，里面的2，4，6什么的看不大明白。麻烦楼主了！

Re: Dark_Scope 2014-01-08 12:30发表

回复Madde：https://www.360docs.net/doc/6711066273.html,/tutorial/mlp.html#weight-initialization 看这里，这个估计是实践总结出来的吧

Re: m_donna 2014-01-08 15:51发表

回复Dark_Scope：谢谢楼主了！还有一个问题是我也出现和楼下相同的out of memory的问题，看楼主

您说是4G的内存，我的也是4G的呀。

Re: Dark_Scope 2014-01-08 17:37发表

回复Madde：这系统方面我就不了解了,没遇到过这类情况，4G跑它的测试都应该没问题才

对啊。或者看看你是不是64位的系统？32位的话只能用3.2G左右

Re: m_donna 2014-01-08 18:18发表

回复Dark_Scope：楼主你好！我把3g开关打开就可以运行一些代码了，不行的地方把训练

数据集改小了也可以了，就是效果也变差了点。再次感谢！

7楼 yangyangliangliang 2014-01-07 20:15发表

看了我的评论才知道 原来我不是第一次来看了

Re: Dark_Scope 2014-01-07 20:41发表

回复yangyangliangliang：thanks~~~^_^

6楼 lxx041652 2013-12-20 16:53发表

楼主学得很好啊，想问下楼主为什么换自己的数据就不行了，对这个算法还不是很了解，楼主能稍稍提点一下么，谢谢！

Re: Dark_Scope 2013-12-20 20:12发表

回复lxx041652：先看看这个 https://www.360docs.net/doc/6711066273.html,/wiki/index.php/UFLDL_Tutorial 具体是怎么不行的，效果不

好的话涉及到调参等问题，如果是跑不起来就是要改改你的输入输出格式之类的。

5楼 wbglearn 2013-11-23 11:44发表

你好！校友！呵呵……我现在在调试这个工具箱，遇到了一些问题。能加qq问下吗?我qq：354475072。谢谢……

4楼 CanXiaoZuo 2013-11-11 02:19发表

尊敬的博主，可以知道你的联系方式吗？QQ或者其他邮箱都行。因为最近在学习deep learning相关知识，有太多问题需要请教。看到你的博文，真的好崇拜。期待您的回复，谢谢。

Re: Dark_Scope 2013-11-11 13:14发表

回复CanXiaoZuo：额，你可以通过微博联系我。不过我懂得也不多的，你可以加这个群进去讨论，很多大牛的

https://www.360docs.net/doc/6711066273.html,/tornadomeet/archive/2013/05/02/3055678.html

Re: CanXiaoZuo 2013-11-11 19:01发表

回复Dark_Scope：那个群我加不进去额。问你一个很简单的问题，nnsetupnnsetup([784 100 10])中的

向量[784 100 10]的784

、100、10、这三个参数分别代表什么含义？还有，请问您，deeplearning适合做时间序列预测吗？

Re: Dark_Scope 2013-11-12 22:28发表

回复CanXiaoZuo：一张图的大小：28*28=784代表输入层

100是隐藏层大小

10是输出层大小

一共三层网络

话说~~~时间序列预测是什么？

Re: CanXiaoZuo 2013-11-13 01:00发表

回复Dark_Scope： 谢谢博主的指导，我懂了。

3楼 amiltonwong123 2013-11-10 16:45发表

Darkscope博主,你好,

请问nn.momentum这个参数的作用是用在哪儿以及它的含义是指什么呢? 有关于nn.momentum的参考文章可以介绍一下吗?

谢谢~

Re: Dark_Scope 2013-11-10 17:19发表

回复amiltonwong123：因为是随机梯度下降，所以虽然总方向是朝最小值走的，但是单次的下降方向不一定，

momentum就是体现之前下降方向的参数，加上之后会使收敛更快一些。看最后一页的图：

https://www.360docs.net/doc/6711066273.html,/~schraudo/teach/ml03/ML_Class8.pdf

2楼 wongym1992 2013-09-27 11:59发表

博主，你好，有幸看到你写得博客，写得非常好，我也在学习deeplearning，下载丹麦的这个deeplearning toolbox，但是在运行的时候，matlab会出现：Out of memory的现象，我的matlab运行内存已经调到511M了，不知道是数据太大还是什么原因，想请问博主，你的程序是如何跑通的？

Re: GreenJune 2014-03-14 16:18发表

回复u011069427：我也出现了这样的问题，怎么解决？

Re: Dark_Scope 2013-09-27 12:08发表

回复u011069427：我也是直接跑的啊，估计是你内存小了吧，你试试

https://www.360docs.net/doc/6711066273.html,/zwwcqu/item/e9718150e61581ded58bac5a 解决办法，不行的话还是加内存条吧，我4G内存

还感觉不够用呢。。。

1楼 yangyangliangliang 2013-08-12 08:55发表

博主很厉害啊！顶一下...

您还没有登录,请[登录]或[注册]

* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场

核心技术类目

全部主题 Hadoop AWS 移动游戏 Java Android iOS Swift 智能硬件 Docker OpenStack

VPN Spark ERP IE10 Eclipse CRM JavaScript 数据库 Ubuntu NFC WAP jQuery

BI HTML5 Spring Apache .NET API HTML SDK IIS Fedora XML LBS Unity

Splashtop UML components Windows Mobile Rails QEMU KDE Cassandra CloudStack

FTC coremail OPhone CouchBase 云计算 iOS6 Rackspace Web App SpringSide Maemo

Compuware 大数据 aptech Perl Tornado Ruby Hibernate ThinkPHP HBase Pure Solr

Angular Cloud Foundry Redis Scala Django Bootstrap

公司简介|招贤纳士|广告服务|银行汇款帐号|联系方式|版权声明|法律顾问|问题报告|合作伙伴|论坛反馈

网站客服杂志客服微博客服webmaster@https://www.360docs.net/doc/6711066273.html,400-600-2320|北京创新乐知信息技术有限公司 版权所有|江苏乐知网络技术有限公司 提供商务支持京 ICP 证 070598 号|Copyright ? 1999-2014, https://www.360docs.net/doc/6711066273.html,, All Rights Reserved