零基础入门深度学习(7) - 递归神经网络
[关闭]
零基础入门深度学习(7) - 递归神经网络
机器学习深度学习入门
无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。
文章列表
零基础入门深度学习(1) - 感知器
零基础入门深度学习(2) - 线性单元和梯度下降
零基础入门深度学习(3) - 神经网络和反向传播算法
零基础入门深度学习(4) - 卷积神经网络
零基础入门深度学习(5) - 循环神经网络
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
零基础入门深度学习(7) - 递归神经网络
往期回顾
在前面的文章中，我们介绍了循环神经网络，它可以用来处理包含序列结构的信息。然而，除此之外，信息往往还存在着诸如树结构、图结构等更复杂的结构。对于这种复杂的结构，循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络：递归神经网络(Recursive Neural Network, RNN)，以及它的训练算法BPTS (Back Propagation Through Structure)。顾名思义，递归神经网络（巧合的是，它的缩写和循环神经网络一样，也是RNN）可以处理诸如树、图这样的递归结构。在文章的最后，我们将实现一个递归神经网络，并介绍它的几个应用场景。
递归神经网络是啥
因为神经网络的输入层单元个数是固定的，因此必须用循环或者递归的方式来处理长度可变的输入。循环神经网络实现了前者，通过将长度不定的输入分割为等长度的小块，然后再依次的输入到网络中，从而实现了神经网络对变长输入的处理。一个典型的例子是，当我们处理一句话的时候，我们可以把一句话看作是词组成的序列，然后，每次向循环神经网络输入一个词，如此循环直至整句话输入完毕，循环神经网络将产生对应的输出。如此，我们就能处理任意长度的句子了。入下图所示：
然而，有时候把句子看做是词的序列是不够的，比如下面这句话『两个外语学院的学生』：
上图显示了这句话的两个不同的语法解析树。可以看出来这句话有歧义，不同的语法解析树则对应了不同的意思。一个是『两个外语学院的/学生』，也就是学生可能有许多，但他们来自于两所外语学校；另一个是『两个/外语学院的学生』，也就是只有两个学生，他们是外语学院的。为了能够让模型区分出两个不同的意思，我们的模型必须能够按照树结构去处理信息，而不是序列，这就是递归神经网络的作用。当面对按照树/图结构处理信息更有效的任务时，递归神经网络通常都会获得不错的结果。
递归神经网络可以把一个树/图结构信息编码为一个向量，也就是把信息映射到一个语义向量空间中。这个语义向量空间满足某类性质，比如语义相似的向量距离更近。也就是说，如果两句话（尽管内容不同）它的意思是相似的，那么把它们分别编码后的两个向量的距离也相近；反之，如果两句话的意思截然不同，那么编码后向量的距离则很远。如下图所示：
从上图我们可以看到，递归神经网络将所有的词、句都映射到一个2维向量空间中。句子『the country of my birth』和句子『the place where I was born』的意思是非常接近的，所以表示它们的两个向量在向量空间中的距离很近。另外两个词『Germany』和『France』因为表示的都是地点，它们的向量与上面两句话的向量的距离，就比另外两个表示时间的词『Monday』和『Tuesday』的向量的距离近得多。这样，通过向量的距离，就得到了一种语义的表示。
上图还显示了自然语言可组合的性质：词可以组成句、句可以组成段落、段落可以组成篇章，而更高层的语义取决于底层的语义以及它们的组合方式。递归神经网络是一种表示学习，它可以将词、句、段、篇按照他们的语义映射到同一个向量空间中，也就是把可组合（树/图结构）的信息表示为一个个有意义的向量。比如上面这个例子，递归神经网络把句子"the country of my birth"表示为二维向量[1,5]。有了这个『编码器』之后，我们就可以以这些有意义的向量为基础去完成更高级的任务（比如情感分析等）。如下图所示，递归神经网络在做情感分析时，可以比较好的处理否定句，这是胜过其他一些模型的：
在上图中，蓝色表示正面评价，红色表示负面评价。每个节点是一个向量，这个向量表达了以它为根的子树的情感评价。比如"intelligent humor"是正面评价，而"care about cleverness wit or any other kind of intelligent humor"是中性评价。我们可以看到，模型能够正确的处理doesn't的含义，将正面评价转变为负面评价。
尽管递归神经网络具有更为强大的表示能力，但是在实际应用中并不太流行。其中一个主要原因是，递归神经网络的输入是树/图结构，而这种结构需要花费很多人工去标注。想象一下，如果我们用循环神经网络处理句子，那么我们可以直接把句子作为输入。然而，如果我们用递归神经网络处理句子，我们就必须把每个句子标注为语法解析树的形式，这无疑要花费非常大的精力。很多时候，相对于递归神经网络能够带来的性能提升，这个投入是不太划算的。
我们已经基本了解了递归神经网络是做什么用的，接下来，我们将探讨它的算法细节。
递归神经网络的前向计算
接下来，我们详细介绍一下递归神经网络是如何处理树/图结构的信息的。在这里，我们以处理树型信息为例进行介绍。
递归神经网络的输入是两个子节点（也可以是多个），输出就是将这两个子节点编码后产生的父节点，父节点的维度和每个子节点是相同的。如下图所示：
和分别是表示两个子节点的向量，是表示父节点的向量。子节点和父节点组成一个全连接神经网络，也就是子节点的每个神经元都和父节点的每个神经元两两相连。我们用矩阵
举个例子，我们使用递归神将网络将『两个外语学校的学生』映射为一个向量，如下图所示：
最后得到的向量就是对整个句子『两个外语学校的学生』的表示。由于整个结构是递归的，不仅仅是根节点，事实上每个节点都是以其为根的子树的表示。比如，在左边的这棵树中，向量是短语『外语学院的学生』的表示，而向量是短语『外语学院的』的表示。
式1就是递归神经网络的前向计算算法。它和全连接神经网络的计算没有什么区别，只是在输入的过程中需要根据输入的树结构依次输入每个子节点。
定义为误差函数E相对于父节点的加权输入
显然，子矩阵和分别对应子节点和的到父节点权重。则矩阵为：
上图是在树型结构中反向传递误差项的全景图，反复应用
接下来，我们把递归神经网络的实现代码都放在RecursiveLayer类中，下面是这个类的构造函数：
1.#递归神经网络实现
2.c l a s s R e c u r s i v e L a y e r(o b j e c t):
3.d e f__i n i t__(s e l f,n o d e_w i d t h,c h i l d_c o u n t,
4.a c t i v a t o r,l e a r n i n g_r a t e):
5.'''
6.递归神经网络构造函数
7.n o d e_w i d t h:表示每个节点的向量的维度
8.c h i l d_c o u n t:每个父节点有几个子节点
9.a c t i v a t o r:激活函数对象
10.l e a r n i n g_r a t e:梯度下降算法学习率
11.'''
12.s e l f.n o d e_w i d t h=n o d e_w i d t h
13.s e l f.c h i l d_c o u n t=c h i l d_c o u n t
14.s e l f.a c t i v a t o r=a c t i v a t o r
15.s e l f.l e a r n i n g_r a t e=l e a r n i n g_r a t e
16.#权重数组W
17.s e l f.W=n p.r a n d o m.u n i f o r m(-1e-4,1e-4,
18.(n o d e_w i d t h,n o d e_w i d t h*c h i l d_c o u n t))
19.#偏置项b
20.s e l f.b=n p.z e r o s((n o d e_w i d t h,1))
21.#递归神经网络生成的树的根节点
22.s e l f.r o o t=N o n e
下面是前向计算的实现：
1.d e f f o r w a r d(s e l f,*c h i l d r e n):
2.'''
3.前向计算
4.'''
5.c h i l d r e n_d a t a=s e l f.c o n c a t e n a t e(c h i l d r e n)
6.p a r e n t_d a t a=s e l f.a c t i v a t o r.f o r w a r d(
7.n p.d o t(s e l f.W,c h i l d r e n_d a t a)+s e l f.b
8.)
9.s e l f.r o o t=T r e e N o d e(p a r e n t_d a t a,c h i l d r e n
10.,c h i l d r e n_d a t a)
forward函数接收一系列的树节点对象作为输入，然后，递归神经网络将这些树节点作为子节点，并计算它们的父节点。最后，将计算的父节点保存在self.root变量中。
上面用到的concatenate函数，是将各个子节点中的数据拼接成一个长向量，其代码如下：
1.d e f c o n c a t e n a t e(s e l f,t r e e_n o d e s):
2.'''
3.将各个树节点中的数据拼接成一个长向量
4.'''
5.c o n c a t=n p.z e r o s((0,1))
6.f o r n o d e i n t r e e_n o d e s:
7.c o n c a t=n p.c o n c a t e n a t e((c o n c a t,n o d e.d a t a))
8.r e t u r n c o n c a t
下面是反向传播算法BPTS的实现：
1.d e f b a c k w a r d(s e l f,p a r e n t_d e l t a):
2.'''
3.B P T S反向传播算法
4.'''
5.s e l f.c a l c_d e l t a(p a r e n t_d e l t a,s e l f.r o o t)
6.s e l f.W_g r a d,s e l f.b_g r a d=s e l f.c a l c_g r a d i e n t(s e l f.r o o t)
7.
8.d e f c a l c_d e l t a(s e l f,p a r e n t_d e l t a,p a r e n t):
9.'''
10.计算每个节点的d e l t a
11.'''
12.p a r e n t.d e l t a=p a r e n t_d e l t a
13.i f p a r e n t.c h i l d r e n:
14.#根据式2计算每个子节点的d e l t a
15.c h i l d r e n_d e l t a=n p.d o t(s e l f.W.T,p a r e n t_d e l t a)*(
16.s e l f.a c t i v a t o r.b a c k w a r d(p a r e n t.c h i l d r e n_d a t a)
17.)
18.#s l i c e s=[(子节点编号，子节点d e l t a起始位置，子节点d e l t a结束位置)]
19.s l i c e s=[(i,i*s e l f.n o d e_w i d t h,
20.(i+1)*s e l f.n o d e_w i d t h)
21.f o r i i n r a n g e(s e l f.c h i l d_c o u n t)]
22.#针对每个子节点，递归调用c a l c_d e l t a函数
23.f o r s i n s l i c e s:
24.s e l f.c a l c_d e l t a(c h i l d r e n_d e l t a[s[1]:s[2]],
25.p a r e n t.c h i l d r e n[s[0]])
26.
27.d e f c a l c_g r a d i e n t(s e l f,p a r e n t):
28.'''
29.计算每个节点权重的梯度，并将它们求和，得到最终的梯度
30.'''
31.W_g r a d=n p.z e r o s((s e l f.n o d e_w i d t h,
32.s e l f.n o d e_w i d t h*s e l f.c h i l d_c o u n t))
33.b_g r a d=n p.z e r o s((s e l f.n o d e_w i d t h,1))
34.i f n o t p a r e n t.c h i l d r e n:
35.r e t u r n W_g r a d,b_g r a d
36.p a r e n t.W_g r a d=n p.d o t(p a r e n t.d e l t a,p a r e n t.c h i l d r e n_d a t a.T)
37.p a r e n t.b_g r a d=p a r e n t.d e l t a
38.W_g r a d+=p a r e n t.W_g r a d
39.b_g r a d+=p a r e n t.b_g r a d
40.f o r c h i l d i n p a r e n t.c h i l d r e n:
41.W,b=s e l f.c a l c_g r a d i e n t(c h i l d)
42.W_g r a d+=W
43.b_g r a d+=b
44.r e t u r n W_g r a d,b_g r a d
可以看出，递归神经网络能够完成句子的语法分析，并产生一个语法解析树。
除了自然语言之外，自然场景也具有可组合的性质。因此，我们可以用类似的模型完成自然场景的解析，如下图所示：
两种不同的场景，可以用相同的递归神经网络模型来实现。我们以第一个场景，自然语言解析为例。
我们希望将一句话逐字输入到神经网络中，然后，神经网络返回一个解析好的树。为了做到这一点，我们需要给神经网络再加上一层，负责打分。分数越高，说明两个子节点结合更加紧密，分数越低，说明两个子节点结合更松散。如下图所示：
一旦这个打分函数训练好了（也就是矩阵U的各项值变为合适的值），我们就可以利用贪心算法来实现句子的解析。第一步，我们先将词按照顺序两两输入神经网络，得到第一组打分：
我们发现，现在分数最高的是第一组，The cat，说明它们的结合是最紧密的。这样，我们可以先将它们组合为一个节点。然后，再次两两计算相邻子节点的打分：
现在，分数最高的是最后一组，the mat。于是，我们将它们组合为一个节点，再两两计算相邻节点的打分：
这时，我们发现最高的分数是on the mat，把它们组合为一个节点，继续两两计算相邻节点的打分......最终，我们就能够得到整个解析树：
现在，我们困惑这样牛逼的打分函数score是怎样训练出来的呢？我们需要定义一个目标函数。这里，我们使用Max-Margin目标函数。它的定义如下：
在上式中，、分别表示第i个训练样本的输入和标签，注意这里的标签
(完整版)深度神经网络及目标检测学习笔记(2)
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
零基础入门深度学习(5) - 循环神经网络
[关闭] 零基础入门深度学习(5) - 循环神经网络 机器学习深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。 文章列表 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) - 递归神经网络 往期回顾 在前面的文章系列文章中，我们介绍了全连接神经网络和卷积神经网络，以及它们的训练和使用。他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。不过读者不用担心，本文将一如既往的对复杂的东西剥茧抽丝，帮助您理解RNNs以及它的训练算法，并动手实现一个循环神经网络。 语言模型 RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？ 我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。 我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。 语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。 语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音转文本(STT)的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。 使用RNN之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我
会计初学者入门规范实操
会计初学者入门规范实操经典讲解（一） 第一章会计岗位设置及职责 1．企业应设置哪些会计岗位？ 企业应依照自身规模大小、业务量多少等具体情况设置会计岗位，一般大中型企业应设置会计主管，出纳，固定资产核算，材料物资核算，工资核算，成本核算，收入、利润核算，资金核算，总账报表和稽核等会计岗位。 小型企业因业务量较少，应适当合并减少岗位设置，例如，可设置出纳、总账报表和明细分类核算等会计岗位。 2．会计主管岗位的职责是什么？ 会计主管岗位的职责一般包括：
（1）具体领导单位财务会计工作； （2）组织制定、贯彻执行本单位的财务会计制度； （3）组织编制本单位的各项财务、成本打算； （4）组织开展财务成本分析； （5）审查或参与拟定经济合同、协议及其他经济文件；（6）参加生产经营治理会议，参与经营决策； （7）负责向本单位领导、职工代表大会报告财务状况和经营成果； （8）审查对外报送的财务会计报告； （9）负责组织会计人员的政治理论、业务技术的学习和考核，参与会计人员的任免和调动。 3．出纳岗位的职责是什么？ 出纳岗位的职责一般包括： （1）办理现金收付和结算业务； （2）登记现金和银行存款日记账；
（3）保管库存现金和各种有价证券； （4）保管有关印章、空白收据和空白支票。 4．固定资产核算岗位的职责是什么？ 固定资产核算岗位的职责一般包括： （1）会同有关部门拟定固定资产的核算与治理方法；（2）参与编制固定资产更新改造和大修理打算；（3）负责固定资产的明细核算和有关报表的编制；（4）计算提取固定资产折旧和大修理资金； （5）参与固定资产的清查盘点。 5．材料物资核算岗位的职责是什么？ 材料物资核算岗位职责一般包括： （1）会同有关部门拟定材料物资的核算与治理方法；（2）审查汇编材料物资的采购资金打算；
深度学习系列(7)：神经网络的优化方法
机器?学习中，梯度下降法常?用来对相应的算法进?行行训练。常?用的梯度下降法包含三种不不同的形式，分别是BGD 、SGD 和MBGD ，它们的不不同之处在于我们在对?目标函数进?行行梯度更更新时所使?用的样本量量的多少。 以线性回归算法来对三种梯度下降法进?行行?比较。 ?一般线性回归函数的假设函数为： （即有n 个特征）对应的损失函数为下图即为?一个?二维参数和组对应的损失函数可视化图像：批量量梯度下降法（Batch Gradient Descent ，简称BGD ）是梯度下降法最原始的形式，它的具体思路路是在更更新每?一参数时都使?用所有的样本来进?行行更更新，其数学形式如下： 深度学习系列列（7）：神经?网络的优化?方法?一、Gradient Descent [Robbins and Monro, 1951,Kiefer et al., 1952] = h θ∑j =0n θj x j L (θ)=12m ∑i =1 m (h ()?)x i y i 2θ0θ11.1 BGD （Batch Gradient Descent ）
还是以上?面?小球的例例?子来看，momentum ?方式下?小球完全是盲?目被动的?方式滚下的。这样有个缺 三、NAG （Nesterov accelerated gradient ）[Nesterov, 1983]
点就是在邻近最优点附近是控制不不住速度的。我们希望?小球可以预判后?面的“地形”，要是后?面地形还是很陡峭，那就继续坚定不不移地?大胆?走下去，不不然的话就减缓速度。 当然，?小球?自?己也不不知道真正要?走到哪?里里，这?里里以 作为下?一个位置的近似，将动量量的公式更更改为： 相?比于动量量?方式考虑的是上?一时刻的动能和当前点的梯度，?而NAG 考虑的是上?一时刻的梯度和近似下?一点的梯度，这使得它可以先往前探探路路，然后慎重前进。 Hinton 的slides 是这样给出的： 其中两个blue vectors 分别理理解为梯度和动能，两个向量量和即为momentum ?方式的作?用结果。?而靠左边的brown vector 是动能，可以看出它那条blue vector 是平?行行的，但它预测了了下?一阶段的梯度是red vector ，因此向量量和就是green vector ，即NAG ?方式的作?用结果。 momentum 项和nesterov 项都是为了了使梯度更更新更更加灵活，对不不同情况有针对性。但是，?人?工设置?一些学习率总还是有些?生硬，接下来介绍?几种?自适应学习率的?方法 训练深度?网络的时候，可以让学习率随着时间退?火。因为如果学习率很?高，系统的动能就过?大，参数向量量就会?无规律律地变动，?无法稳定到损失函数更更深更更窄的部分去。对学习率衰减的时机把握很有技巧：如果慢慢减?小，可能在很?长时间内只能浪费计算资源然后看着它混沌地跳动，实际进展很少；但如果快速地减少，系统可能过快地失去能量量，不不能到达原本可以到达的最好位置。通常，实现学习率退?火有三种?方式： θ?γv t ?1 =γ+ηJ (θ?γ) v t v t ?1?θv t ?1θ=θ?v t 四、学习率退?火
(完整版)深度神经网络全面概述
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.360docs.net/doc/ea5492337.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
深度学习入门之Pytorch 数据增强的实现
深度学习入门之Pytorch 数据增强的实现 这篇文章主要介绍了深度学习入门之Pytorch 数据增强的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧数据增强 卷积神经网络非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。 2012 年 AlexNet 在 ImageNet 上大获全胜，图片增强方法功不可没，因为有了图片增强，使得训练的数据集比实际数据集多了很多'新'样本，减少了过拟合的问题，下面我们来具体解释一下。 常用的数据增强方法 常用的数据增强方法如下： 1.对图片进行一定比例缩放 2.对图片进行随机位置的截取 3.对图片进行随机的水平和竖直翻转 4.对图片进行随机角度的旋转 5.对图片进行亮度、对比度和颜色的随机变化 这些方法 pytorch 都已经为我们内置在了 torchvision 里面，我们在安装 pytorch 的时候也安装了 torchvision ，下面我们来依次展示一下这些数据增强方法。 随机比例放缩 随机比例缩放主要使用的是 torchvision.transforms.Resize() 这个函数，第一个参数可以是一个整数，那么图片会保存现在的宽和高的比例，并将更短的边缩放到这个整数的大小，第一个参数也可以是一个 tuple ，那么图片会直接把宽和高缩放到这个大小；第二个参数表示放缩图片使用的方法，比如最邻近法，或者双线性差值等，一般双线性差值能够保留图片更多的信息，所以 pytorch 默认使用的是双线性差值，你可以手动去改这个参数，更多的信息可以看看文档 import sys sys.path.append('..') from PIL import Image from torchvision import transforms as tfs # 读入一张图片 im = Image.open('./cat.png')im # 比例缩放
会计入门基础知识会计基础知识讲解
什么是会计？会计的基本职能是什么？ 是以货币为主要计量单位，以提高经济效益为主要目标，运用专门方法对企业，机关，事业单位和其他组织的经济活动进行全面，综合，连续，系统地核算和监督，提供会计信息，并随着社会经济的日益发展，逐步开展预测、决策、控制和分析的一种经济管理活动，是经济管理活动的重要组成部分。 词典定义： 1、监督和管理的工作，主要内容有填制各种记账凭证，处理，编制各种有关报表等。 2、担任会计工作的人员。 专业定义： 会计是以会计凭证为依据，以货币为主要计量单位，运用一系列专门的技术方法，全面、连续、系统、综合地反映和监督企、事业单位的经济活动，并向相关会计信息使用者提供符合会计法律、法规和规章制度要求的会计信息的一项管理工作。 会计基本职能的是什么： 会计的基本职能包括进行会计核算和实施会计监督两个方面。 1、是指主要运用货币计量形式，通过确认、计量、记录和报告，从数量上连续、系统和完整的反映各个单位的经济活动情况，为加强经济管理和提高经济效益提供会计信息。 2、是指对特定主体经济活动和相关会计核算的合法性、合理性进行审查。 会计的特点： 会计的特点主要体现在会计核算阶段，会计核算有如下三个基本特点： 1.以货币为主要计量单位。会计核算以货币量度为主、以实物量度及劳动量度为辅，从数量上综合核算各单位的经济活动状况；
2.以真实，合法的会计凭证为依据； 3.会计核算和监督具有连续性，系统性，全面性和综合性。 会计作用 从正面看主要有四点：一是为国家宏观调控、制定经济政策提供信息；二是加强经济核算，为企业经营管理提供数据三是保证企业投入资产的安全和完善；四是为投资者提供财务报告，以便于投资者进行正确的投资决策。 会计分类 按其报告的对象不同可分财务会计(对外报告会计)和管理会计(对内报告会计)两部分。 财务会计：编制财务报表，为企业内部和外部用户提供信息。财务会计的信息是提供广泛的用户。其重点在于报告财务状况和营运状况。 管理会计：主要是对企业的管理层提供信息，作为企业内部各部门进行决策的依据。没有标准的模式、不受会计准则的控制。 按行业分为：工业企业会计、商品流通会计、金融证券会计、保险企业会计、施工企业会计、房地产业会计、邮电通讯会计、农业企业会计、旅游餐饮会计、医疗卫生会计、交通运输会计、文化教育会计、物业管理会计、行政事业会计、上市公司会计、物流企业会计、连锁经营会计、出版印刷会计、私营企业会计、小企业会计(制造业) 会计、小企业会计(商业) 会计、电力企业会计、煤炭企业会计、钢铁企业会计、石油化工会计、汽车行业会计、烟草企业会计、酒类企业会计、食品企业会计、药品企业会计、加工制造会计、轻工纺织会计、外经外贸会计、信息咨询服务业会计、广告服务会计、房屋中介服务会计、市场（农贸、五金、批发、建材、服装等）会计、个人独资企业会计、高新技术企业会计、软件及集成电路会计。 按工作内容分为：总帐会计、往来会计、成本会计、材料会计等。 按工作范围分为：公共会计、私用会计、政府会计。
神经网络及深度学习
可用于自动驾驶的神经网络及深度学习 高级辅助驾驶系统(ADAS)可提供解决方案，用以满足驾乘人员对道路安全及出行体验的更高要求。诸如车道偏离警告、自动刹车及泊车辅助等系统广泛应用于当前的车型，甚至是功能更为强大的车道保持、塞车辅助及自适应巡航控制等系统的配套使用也让未来的全自动驾驶车辆成为现实。 作者：来源：电子产品世界|2017-02-27 13:55 收藏 分享 高级辅助驾驶系统(ADAS)可提供解决方案，用以满足驾乘人员对道路安全及出行体验的更高要求。诸如车道偏离警告、自动刹车及泊车辅助等系统广泛应用于当前的车型，甚至是功能更为强大的车道保持、塞车辅助及自适应巡航控制等系统的配套使用也让未来的全自动驾驶车辆成为现实。 如今，车辆的很多系统使用的都是机器视觉。机器视觉采用传统信号处理技术来检测识别物体。对于正热衷于进一步提高拓展ADAS功能的汽车制造业而言，深度学习神经网络开辟了令人兴奋的研究途径。为了实现从诸如高速公路全程自动驾驶仪的短时辅助模式到专职无人驾驶旅行的自动驾驶，汽车制造业一直在寻求让响应速度更快、识别准确度更高的方法，而深度学习技术无疑为其指明了道路。 以知名品牌为首的汽车制造业正在深度学习神经网络技术上进行投资，并向先进的计算企业、硅谷等技术引擎及学术界看齐。在中国，百度一直在此技术上保持领先。百度计划在2019 年将全自动汽车投入商用，并加大全自动汽车的批量生产力度，使其在2021 年可广泛投入使用。汽车制造业及技术领军者之间的密切合作是嵌入式系统神经网络发展的催化剂。这类神经网络需要满足汽车应用环境对系统大小、成本及功耗的要求。 1轻型嵌入式神经网络 卷积式神经网络(CNN)的应用可分为三个阶段：训练、转化及CNN在生产就绪解决方案中的执行。要想获得一个高性价比、针对大规模车辆应用的高效结果，必须在每阶段使用最为有利的系统。 训练往往在线下通过基于CPU的系统、图形处理器(GPU)或现场可编程门阵列(FPGA)来完成。由于计算功能强大且设计人员对其很熟悉，这些是用于神经网络训练的最为理想的系统。 在训练阶段，开发商利用诸如Caffe(Convolution Architecture For Feature Extraction，卷积神经网络架构)等的框架对CNN 进行训练及优化。参考图像数据库用于确定网络中神经元的最佳权重参数。训练结束即可采用传统方法在CPU、GPU 或FPGA上生成网络及原型，尤其是执行浮点运算以确保最高的精确度。 作为一种车载使用解决方案，这种方法有一些明显的缺点。运算效率低及成本高使其无法在大批量量产系统中使用。 CEVA已经推出了另一种解决方案。这种解决方案可降低浮点运算的工作负荷，并在汽车应用可接受的功耗水平上获得实时的处理性能表现。随着全自动驾驶所需的计算技术的进一步发展，对关键功能进行加速的策略才能保证这些系统得到广泛应用。 利用被称为CDNN的框架对网络生成策略进行改进。经过改进的策略采用在高功耗浮点计算平台上(利用诸如Caffe的传统网络生成器)开发的受训网络结构和权重，并将其转化为基于定点运算，结构紧凑的轻型的定制网络模型。接下来，此模型会在一个基于专门优化的成像和视觉DSP芯片的低功耗嵌入式平台上运行。图1显示了轻型嵌入式神经网络的生成
吴恩达深度学习课程：神经网络和深度学习
吴恩达深度学习课程：神经网络和深度学习[中英文字幕+ppt课件] 内容简介 吴恩达（Andrew Ng）相信大家都不陌生了。2017年8 月8 日，吴恩达在他自己创办的在线教育平台Coursera 上线了他的人工智能专项课程（Deep Learning Specialization）。此课程广受好评，通过视频讲解、作业与测验等让更多的人对人工智能有了了解与启蒙，国外媒体报道称：吴恩达这次深度学习课程是迄今为止，最全面、系统和容易获取的深度学习课程，堪称普通人的人工智能第一课。 关注微信公众号datayx 然后回复“深度学习”即可获取。 第一周深度学习概论： 学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。 1.1 欢迎来到深度学习工程师微专业 1.2 什么是神经网络？ 1.3 用神经网络进行监督学习 1.4 为什么深度学习会兴起？ 1.5 关于这门课
1.6 课程资源 第二周神经网络基础： 学习如何用神经网络的思维模式提出机器学习问题、如何使用向量化加速你的模型。 2.1 二分分类 2.2 logistic 回归 2.3 logistic 回归损失函数 2.4 梯度下降法 2.5 导数 2.6 更多导数的例子 2.7 计算图 2.8 计算图的导数计算 2.9 logistic 回归中的梯度下降法 2.10 m 个样本的梯度下降 2.11 向量化 2.12 向量化的更多例子 2.13 向量化logistic 回归 2.14 向量化logistic 回归的梯度输出 2.15 Python 中的广播 2.16 关于python / numpy 向量的说明 2.17 Jupyter / Ipython 笔记本的快速指南 2.18 （选修）logistic 损失函数的解释 第三周浅层神经网络：
深度神经网络及目标检测学习笔记
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
零基础入门深度学习(1)：感知器-激活函数
零基础入门深度学习（1）：感知器，激活函数本文章来自于阿里云云栖社区 摘要：零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - 神经网络和反向传播算法零基础入门深度学习(4) - 卷积神经网络零基础入门深度学习(5) - 循环神经网络。零基础入门深度学习(6) - 长短时记忆网络(LSTM)。无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作 零基础入门深度学习(1) - 感知器（原文链接： https://www.360docs.net/doc/ea5492337.html,/p/9ca2c1b07e0e?spm=5176.100239.blogcont69850.11.QPQa sR） 零基础入门深度学习(2) - 线性单元和梯度下降（原文链接： https://www.360docs.net/doc/ea5492337.html,/p/c9938d7a5209?spm=5176.100239.blogcont69850.12.QPQ asR） 零基础入门深度学习(3) - 神经网络和反向传播算法（原文链接： https://www.360docs.net/doc/ea5492337.html,/p/5187635c7a2d?spm=5176.100239.blogcont69850.13.QPQ asR） 零基础入门深度学习(4) - 卷积神经网络（原文链接： https://www.360docs.net/doc/ea5492337.html,/p/722202df94fd?spm=5176.100239.blogcont69850.14.QPQa sR） 零基础入门深度学习(5) - 循环神经网络。（原文链接： https://https://www.360docs.net/doc/ea5492337.html,/hanbingtao/note/541458?spm=5176.100239.blogcont69850.15.Q PQasR）
入门深度学习,但你知道哪些情况下不该使用深度学习吗_光环大数据培训
https://www.360docs.net/doc/ea5492337.html, 入门深度学习，但你知道哪些情况下不该使用深度学习吗_光环大数据培训 我知道以深度学习的缺点来开始本文是不合时宜的，但是此前关于深度学习的一大波讨论我觉得可以很好的引出我观点。一切都是从 Jeff Leek 于 Simply Stats 博客发表的一篇关于在小样本规模体系中使用深度学习的注意事项文章开始。 简而言之，Jeff Leek 认为当样本规模很小的时候(通常在生物领域很常见)，参数较小的线性模型甚至比拥有少量分层和隐藏单元的深网表现更好。为了证明自己的观点，Jeff 展示了一个拥有十个最常见信息特征的简单线性预测，在尝试使用仅 80 个样本的 MNIST 数据组进行 0 和 1 的分类时，它在表现上优于简单深网。 这引起了 Andrew Beam 注意并写了一篇文章反驳。文章指出经过适当训练甚至只经过几个简单训练的深度学习可以打败简单线性模型。这个来来回回的辩论发生在越来越多生物信息研究者采用深度学习来解决问题的时候。这到底是炒作还是线性模型真的是我们所需要的? 对于这个问题的答案，我认为和往常一样，是需要根据情况来决定的。在这篇文章中，我将重心放在机器学习上，解析深度学习不是那么有效或者受到阻碍的的使用案例，尤其是对入门者来说。 ▌打破深度学习先入为主的观念 首先，让我们来聚焦一些在外行人眼中已经成为半真相的先入之见。这些先入之见有两个笼统的和一个更有专业性的。他们有点类似于 Andrew Beam 在帖子中指出的“误解”部分的延伸。
https://www.360docs.net/doc/ea5492337.html, ▌深度学习真的可以在小规模体系中使用 深度学习之所以成功是因为他的背后有大数据支持(还记得第一个 Google Brain 项目吗，他将大量的 YouTube 视频加入到了深网中)，并且宣称有复杂的算法来处理这些数据。 然而，这个大数据/深度学习也可以被翻译成截然相反的意思：这个很好用的东西无法被用到很小的规模体系中。如果你只有少数几个可供添加进神经网络的样本，想要适用于高采样比参数，似乎就感觉要求过高了。然而，只考虑给定问题的样本大小和维度，无论是监督还是无监督，都是在真空中对数据进行建模，而无需任何上下文。这种情况可能是因为您有与您的问题相关的数据源，或者领域专家可以提供强有力的数据源，或者以非常特殊的方式构建数据(比如使用图形或图像进行编码)。 以上的这些情况，深度学习都可以作为一种解决办法。例如，你可以编码较大的，与数据集相关的表达。并在你的问题中使用这些表达。一个关于这个的经典例子便是我们对自然语言进行的处理。你可以在大型词汇网站比如Wikipedia 上学习一个单词，并将这个单词用在范围更小更窄的使用中去。在极端情况下，你可以拥有一套神经网络共同学习一种表达方式，并在小样本集中重复使用该表达方式的有效方法。 这种行为被称作一次学习(one-shot learning)，并已经被成功应用于包括计算机视觉(https://https://www.360docs.net/doc/ea5492337.html,/abs/1606.04080)和药物研发(https://https://www.360docs.net/doc/ea5492337.html,/abs/1611.03199)在内的高维数据的多个领域。 用于药品开发的一次学习网络，引自 Altae-Tran 等人的论文，ACS Cent. Sci. 2017▲
会计基础记忆口诀经典版
不少会计学员看来，会计课程的学习比较单调，整天都在和会计分录以及公式计算打交道，知识点非常琐碎，一般中有特殊，特殊中还有特殊，苦于没有好的方法去记忆和理解会计核算的规律。应该说“书山有路勤为径，学海无涯苦作舟”，会计学习必须依勤学苦练，没有什么“终南捷径”，但是会计学习自有其内在的规律，我们需要在学习中借助一些窍门，提高我们学习效率，达到“事半功倍”的效果。 这里介绍的“口诀法”（你还可以称其为“打油诗”。）应该就属于这种窍门。 一、最基本的口诀——读书口诀 所有学科的考试学习，包括会计学习，都必须仔细阅读考试指定教材和考试大纲。如果你是参加社会助学的会计应考者，那么从你听辅导教师授课到最后准备考试，应该至少读五遍指定教材。我将其总结为“自考五读口诀”，具体内容如下： 一读课前预习先，从师二读课堂间。 温故知新读三遍，四读再把习题练。 五读复习迎考试，胜利通过笑开颜。 这主要强调课前预习、课堂听讲、课后复习、做题巩固以及总复习迎考都要把读书放在基础性地位。我每门课开课第一次，我都将这个口诀写在黑板上，要求同学作为参加会计考试的座右铭，这其实对所有科目的考试中都是有用的。如果你是纯粹的自学，那么读书的意义就更是不言自明了。古人说“书读百遍，其义自现”或者“熟读唐诗三百首，不会吟诗也会吟”都是这个道理。 二、利用口诀理解记忆账户记账规则 借贷记账法下的记账规则是基础会计学习的入门规律，是需要同学们深刻记忆和理解的最基本知识点之一。我们一般把账户区分为资产、负债、所有者权益、成本、损益五大类。资产、成本类账户一般都是借方登记增加，贷方登记减少；负债、所有者权益账户（二者合并称为权益）一般都是借方登记减少，贷方登记增加；损益类账户则需要区分是费用类还是收入类去分别登记，收入与费用之间的登记也是相反的。为便于初学者理解，提高其学习兴趣，我编写了以下口诀，并命名其为“记账规则之歌”。 借增贷减是资产，权益和它正相反。 成本资产总相同，细细记牢莫弄乱。 损益账户要分辨，费用收入不一般。 收入增加贷方看，减少借方来结转。 曾经有一个女学员用“四季歌”的曲调在课堂上演唱，大大加深了初学者的记忆痕迹。我们在基础会计考试中记账规则直接考查一般都采取简答题的形式，如果你能记住这首“打油诗”当有好处。 大家也许还记得，会计核算有七种基本核算方法，即：设置会计科目（设置账户）、复式记账、填制和审核凭证、登记账簿、成本核算、财产清查、编制会计报表。我们也可以
初学会计零基础入门教程
初学会计零基础入门教程 当你没有一定基础去学会计的时候，会计对于自己来说，就好比是一个空的杯子。慢慢地这个杯子就会被注入东西。下面就谈谈如何快速入门会计学，特别是对于一个没有任何基础的人来说。 教材知识是最基础的基础。 会计学不难，很多人都是自学，学成后再考会计资格从业证的。对于刚学的你，一定要从最基本的教材入手，要明白教材才是最基础的基础。当然选择一本好的教材也是必不可缺。个人建议教材的选择上应考虑大学生基础会计的书籍。 课后的习题一定要掌握。 课后习题的答案都是来源于教材，有的稍微转了一个弯。但都离不开教材的基础知识。一个连课后的习题都掌握不了，怎么可能去驾驭试题了 同时，一定要认识到，弄懂课后习题也是在巩固基础知识。只有基础知识牢固了，才可能有质的飞跃。 多问。 因为是刚开始学习会计学，可能有一些观点和理论，别人轻松都能回答，而自己却要费很大劲，还换回来一个一知半解。这样是很可怕的。所以，一定要多问，对于自己不能理解的问题，一定要讲出来，不要怕别人嘲笑，不要觉得不好意思，对于学习，一定要脸皮厚一点，直到弄懂为止。 勤于思考，学会自己寻找答案。 在多问的同时，也要学会独立思考，勤于思考。思考能够让自己更深刻的理解。慢慢地在学习会计的路途中，灵感就会增加。 当然，现在的互联网很发达，很多专业的学习网站一定要多去，上面也有很多学习方法，问题解决等，说不定会帮上你了。同时，寻找答案的途径也广阔，如百度知道，把不知道的写在上面，很快就要人回应你了。一般情况下你是能找
到满意的答案的。 必要的 怎样开展企业和员工生涯规划 生涯是个人通过从事所创造出的一个有目的的、延续一定时间的生活模式。该定义是由美国国家生涯发展协会（NationalCareerDevelopmentAssociation）提出，是生涯领域中最被广泛使用的一个观念。 生涯规划的概念 生涯是个人通过从事所创造出的一个有目的的、延续一定时间的生活模式。该定义是由美国国家生涯发展协会（NationalCareerDevelopmentAssociation）提出，是生涯领域中最被广泛使用的一个观念。“延续一定时间(Timeextended)”是指生涯不
0基础入门简单理解借贷记账
复式记账原理and运用借贷记账法 一、单式记账与复式记账 自会计产生以后，在复式记账法出现以前，很长时间会计记账采用的是单式记账方法。所谓单式记账法，是指对发生的每一笔经济业务都只在一个账户中进行记录，一般只记录现金的收付以及应收（人欠）、应付（欠人）等往来账项，而不记录实物资产的增减、收入的来源和费用支出的用途等。比如，企业用现金（包括银行存款）购买了一批材料，在单式记账法下只记录现金的减少，而不同时记录原材料的增加，因此单从会计记录中只看到现金减少了而看不出用来干什么了。可见，单式记账不能全面地反映经济业务的内容，或者说不能反映经济业务的来龙去脉。 复式记账法是对发生的每一笔经济业务所引起的会计要素的增减变动，都以相等的金额同时在两个或两个以上的账户中相互联系地进行记录的一种方法。比如：企业以现金（含银行存款）购买了一批材料，在复式记账法下，既要记录现金的减少，同时也要以相等的金额记录原材料的增加。这种相互联系的记录能够完整地反映出经济业务的来龙去脉：现金减少的原因（用途、去向）是购买了原材料，而原材料增加的原因（来源）是企业用现金买来的。因此，相对于单式记账法来说，复式记账法是一种科学的记账方法。 二、复式记账法的基本特征 复式记账法有以下两个基本特征： 1.对于发生的每一项经济业务，都要在两个或两个以上相关的账户中相互联系地进行记录。通过账户的双重记录，不仅可以了解经济业务的来龙去脉，还能够全面、连续、系统地反映经济活动的过程和结果。 2.由于每一项经济业务发生后，都是以相等的金额在两个或两个以上相互联系的账户中同时记录，因而可以通过进行试算平衡检查账户记录是否正确。 三、借贷记账法的基本内容 （一）借贷记账法的记账符号 历史上曾经有过多种符合复式记账基本原理的复式记账法，但目前世界各国广泛采用的复式记账方法是借贷记账法，我国会计准则也规定企业会计核算必须采用借贷记账法。借贷记账法是一种产生于15世纪的复式记账方法，它以“借”、“贷”二字为记账符号，用来表示会计要素的增减变化。至于是用“借”来表示增加还是用“贷”来表示增加，对不同的会计要素来说是不一样的，具体的我们下面再讲。这里同学们只要记住借贷记账法是用借、贷二字作为记账符号就可以了。很多初学者容易去纠缠借、贷二字本身的含义，这没有任何意义，因为它早就失去了其本身的含义而仅仅是一种符号了，就像甲、乙或A、B一样。 （二）借贷记账法下的账户结构 1.账户的基本结构
深度学习入门数学基础之线性代数篇
线性代数的概念对理解机器学习背后的理论至关重要，特别是对于深度学习。它让你更直观地了解算法如何在真正的工作环境下工作，从而使你能够做出更好的决策。所以如果你真的想成为这个领域的专业人士，你就不会掌握它的一些概念。本文将介绍线性代数最重要的概念，这些概念用于机器学习。 线性代数是一种连续的数学形式，它在整个科学和工程中得到应用，因为它允许你对自然现象建模并有效计算它们。因为它是一种连续的而不是离散的数学形式，很多计算机科学家并没有太多的经验。线性代数也是数学几乎所有领域的核心，如几何和功能分析。它的概念是理解机器学习背后的理论的一个重要先决条件，尤其是在你使用深度学习算法的情况下。在开始使用机器学习之前，你不需要了解线性代数，但是在某些时候，希望更好地理解不同的机器学习算法如何真正在底层工作。这将有助于你在机器学习系统的开发过程中做出更好的决策。所以如果你真的想成为这个领域的专业人士，那么你不会掌握对机器学习很重要的零件线性代数。在线性代数中，数据由线性方程表示，以矩阵和向量的形式表示。因此，你主要处理的是矩阵和向量，而不是标量（我们将在下一节介绍这些术语）。如果你的建议中有像Numpy这样的正确库，则只需几行代码即可轻松计算复杂的矩阵乘法。这篇文章会忽略对机器学习不重要的线性代数的概念。 数学对象 标量 标量只是一个单一的数字。例如24。 向量 向量是一个有序的数字数组，可以在一行或一列中。它只有一个索引，可以指向矢量中的特定值。例如，V2代表向量的第二个值，在上面的黄色图片中为“-8”。
矩阵 矩阵是一个有序的二维数组，它有两个索引。第一个指向该行，第二个指向该列。例如，M23表示第二行和第三列的值，在上面的黄色图片中为“8”。矩阵可以有多个行和列。请注意，向量也是一个矩阵，但只有一行或一列。 在黄色图片的例子中的矩阵也是2×3维的矩阵（行*列）。下面你可以看到矩阵的另一个例子及其符号： 张量 张量是一组数字，排列在一个规则的网格上，具有不同数量的轴。张量有三个指标，第一个指向行，第二个指向列，第三个指向轴。例如，V232指向第二行，第三列和第二个轴。这指的是右图张量中的值5，如下图所示：
数 据 结 构 与 算 法 从 零 开 始 学 习 ( 2 0 2 0 )
用Python解决数据结构与算法问题（一）：Python基础 python学习之路 - 从入门到精通到大师 一、你【实战追-女生视频】好世界 Python是一种现代的，易于学习的面向对象的编程语言。它具有一组强【扣扣】大的内置数据类型和易于使用的控件结构。由于是解释【１】型语言，因此通过简单地查看和描述交互式会话，更容易进行【О】检查。所以好多人会和你说推荐你使用 anaconda 的，比如：【⒈】深度学习入门笔记（五）：神经网络的编程基础。 在 j【б】upyter notebook 中是提示输入语句，然后计算你提供的Py【９】thon语句。例如： pri【５】nt("Hello，World") Hel【２】lo，World 打印结果【６】： print("".join("Hello World")) 二、数据入门 因为Python是支持面向对象的编程范式，这意味着Python认为在解决问题的过程中的重点是数据。在任何面向对象的编程语言中，类都是被定义用来描述数据的外观（状态）和数据能做什么（行为）。因为类的用户只看数据项的状态和行为，所以类类似于抽象的数据类型。数据项在面向对象的范式中称为对象，对象是类的实例。
Python有： 两个主要的内置数字类，分别是 int （整型数据类型）和 float （浮点数据类型）。 标准的算术运算，+，-，*，-，和 **（取幂），可以用括号强制操作的顺序来规避正常的操作符优先级。 其他很有用的操作是余数（模组）操作符%、和整数除法--。注意，当两个整数相除，结果是一个浮点数。整数除法运算符通过截断所有小数部分来返回商的整数部分。 布尔数据类型，作为Python bool类的实现，在表示真值时非常有用。 布尔数据 在标准的布尔操作中，and、or、not，布尔类型的状态值可能是True 和 False。 False or True not (False or True) True and True 布尔数据对象也被用作比较运算符的结果，例如相等（==）和大于（）。 关系运算符和逻辑运算符 此外，关系运算符和逻辑运算符可以组合在一起形成复杂的逻辑问题。下表展示了关系和逻辑运算符： 标识符在编程语言中作为名称使用。在Python中，标识符以字母