深度学习--学习笔记

深度学习--学习笔记
深度学习--学习笔记

目录:

一、概述

二、背景

三、人脑视觉机理

四、关于特征

4.1、特征表示的粒度

4.2、初级(浅层)特征表示

4.3、结构性特征表示

4.4、需要有多少个特征?

五、Deep Learning的基本思想

六、浅层学习(Shallow Learning)和深度学习(Deep Learning)

七、Deep learning与Neural Network

八、Deep learning训练过程

8.1、传统神经网络的训练方法

8.2、deep learning训练过程

九、Deep Learning的常用模型或者方法

9.1、AutoEncoder自动编码器

9.2、Sparse Coding稀疏编码

9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机

9.4、Deep BeliefNetworks深信度网络

9.5、Convolutional Neural Networks卷积神经网络

十、总结与展望

十一、参考文献和Deep Learning学习资源

一、概述

Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生―自我‖的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。

图灵(图灵,大家都知道吧。计算机和人工智能的鼻祖,分别对应于其著名的―图灵机‖和―图灵测试‖)在1950 年的论文里,提出图灵试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。这无疑给计算机,尤其是人工智能,预设了一个很高的期望值。但是半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们,心灰意冷,认为人工智能是忽悠,相关领域是―伪科学‖。

但是自2006 年以来,机器学习领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是,Deep Learning。借助于Deep Learning 算法,人类终于找到了如何处理―抽象概念‖这个亘古难题的方法。

2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导,用16000个CPU Core的并行计算平台训练一种称为―深度神经网络‖(DNN,Deep Neural Networks)的机器学习模型(内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道,人脑中可是有150多亿个神经元,互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过,如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来,并拉成一根直线,可从地球连到月亮,再从月亮返回地球),在语音识别和图像识别等领域获得了巨大的成功。

项目负责人之一Andrew称:―我们没有像通常做的那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。‖另外一名负责人Jeff则说:―我们在训练的时候从来不会告诉机器说:?这是一只猫。‘系统其实是自己发明或者领悟了―猫‖的概念。‖

2012年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。据报道,后面支撑的关键技术也是DNN,或者深度学习(DL,DeepLearning)。

2013年1月,在百度年会上,创始人兼CEO李彦宏高调宣布要成立百度研究院,其中第一个成立的就是―深度学习研究所‖(IDL,Institue of Deep Learning)。

为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉deeplearning很牛那样。那什么是deep learning?为什么有deep learning?它是怎么来的?又能干什么呢?目前存在哪些困难呢?这些问题的简答都需要慢慢来。咱们先来了解下机器学习(人工智能的核心)的背景。

二、背景

机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢?1959年美国的塞缪尔(Samuel)设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。4年后,这个程序战胜了设计者本人。又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力,提出了许多令人深思的社会问题与哲学问题(呵呵,人工智能正常的轨道没有很大的发展,这些什么哲学伦理啊倒发展的挺快。什么未来机器越来越像人,人越来越像机器啊。什么机器会反人类啊,ATM是开第一枪的啊等等。

人类的思维无穷啊)。

机器学习虽然发展了几十年,但还是存在很多没有良好解决的问题:例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。

目前我们通过机器学习去解决这些问题的思路都是这样的(以视觉感知为例子):从开始的通过传感器(例如CMOS)来获得数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很多的paper和研究。

而中间的三部分,概括起来就是特征表达。良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部

分。但,这块实际中一般都是人工完成的。靠人工提取特征。

截止现在,也出现了不少NB的特征(好的特征应具有不变性(大小、尺度和旋转等)和可区分性):例如Sift的出现,是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,的确让很多问题的解决变为可能。但它也不是万能的。然而,手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?答案是能!Deep Learning就是用来干这个事情的,看它的一个别名UnsupervisedFeature Learning,就可以顾名思义了,Unsupervised的意思就是不要人参与特征的选取过程。

那它是怎么学习的呢?怎么知道哪些特征好哪些不好呢?我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好,那我们人的视觉系统是怎么工作的呢?为什么在茫茫人海,芸芸众生,滚滚红尘中我们都可以找到另一个她(因为,你存在我深深的脑海里,我的梦里我的心里我的歌声里……)。人脑那么NB,我们能不能参考人脑,模拟人脑呢?(好像和人脑扯上点关系的特征啊,算法啊,都不错,但不知道是不是人为强加的,为了使自己的作品变得神圣和高雅。)

近几十年以来,认知神经科学、生物学等等学科的发展,让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展推波助澜。三、人脑视觉机理

1981 年的诺贝尔医学奖,颁发给了David Hubel(出生于加拿大的美国神经生物学家)和TorstenWiesel,以及Roger Sperry。前两位的主要贡献,是―发现了视觉系统的信息处理‖:

我们看看他们做了什么。1958 年,DavidHubel 和Torsten Wiesel 在JohnHopkins University,研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上,开了一个 3 毫米的小洞,向洞里插入电极,测量神经元的活跃程度。

然后,他们在小猫的眼前,展现各种形状、各种亮度的物体。并且,在展现

每一件物体时,还改变物体放置的位置和角度。他们期望通过这个办法,让小猫瞳孔感受不同类型、不同强弱的刺激。

之所以做这个试验,目的是去证明一个猜测。位于后脑皮层的不同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。一旦瞳孔受到某一种刺激,后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验,同时牺牲了若干只可怜的小猫,David Hubel 和Torsten Wiesel 发现了一种被称为―方向选择性细胞(Orientation Selective Cell)‖的神经元细胞。当瞳孔发现了眼前的物体的边缘,而且这个边缘指向某个方向时,这种神经元细胞就会活跃。

这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。

这里的关键词有两个,一个是抽象,一个是迭代。从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。

例如,从原始信号摄入开始(瞳孔摄入像素Pixels),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球)。

这个生理学的发现,促成了计算机人工智能,在四十年后的突破性发展。

总的来说,人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征,再到V2区的形状或者目标的部分等,再到更高层,整个目标、目标的行为等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。例如,单词集合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义和意图的对应还是多对一的,这是个层级体系。

敏感的人注意到关键词了:分层。而Deep learning的deep是不是就表示我存在多少层,也就是多深呢?没错。那Deep learning是如何借鉴这个过程的呢?毕竟是归于计算机来处理,面对的一个问题就是怎么对这个过程建模?

因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。

因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。

四、关于特征

特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。那对于特征,我们需要考虑什么呢?

4.1、特征表示的粒度

学习算法在一个什么粒度上的特征表示,才有能发挥作用?就一个图片来说,像素级的特征根本没有价值。例如下面的摩托车,从像素级别,根本得不到任何信息,其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性(或者说有含义)的时候,比如是否具有车把手(handle),是否具有车轮(wheel),就很容易把摩托车和非摩托车区分,学习算法才能发挥作用。

4.2、初级(浅层)特征表示

既然像素级的特征表示方法没有作用,那怎样的表示才有用呢?

1995 年前后,Bruno Olshausen和David Field 两位学者任职Cornell University,他们试图同时用生理学和计算机的手段,双管齐下,研究视觉问题。

他们收集了很多黑白风景照片,从这些照片中,提取出400个小碎片,每个照片碎片的尺寸均为16x16 像素,不妨把这400个碎片标记为S[i], i = 0,..

399。接下来,再从这些黑白风景照片中,随机提取另一个碎片,尺寸也是16x16 像素,不妨把这个碎片标记为T。

他们提出的问题是,如何从这400个碎片中,选取一组碎片,S[k], 通过叠加的办法,合成出一个新的碎片,而这个新的碎片,应当与随机选择的目标碎片T,尽可能相似,同时,S[k] 的数量尽可能少。用数学的语言来描述,就是:Sum_k (a[k] * S[k]) --> T, 其中a[k] 是在叠加碎片S[k] 时的权重系数。

为解决这个问题,Bruno Olshausen和David Field 发明了一个算法,稀疏编码(Sparse Coding)。

稀疏编码是一个重复迭代的过程,每次迭代分两步:

1)选择一组S[k],然后调整a[k],使得Sum_k (a[k] * S[k]) 最接近T。

2)固定住a[k],在400 个碎片中,选择其它更合适的碎片S‘[k],替代原先的S[k],使得Sum_k (a[k] * S‘[k]) 最接近T。

经过几次迭代后,最佳的S[k] 组合,被遴选出来了。令人惊奇的是,被选中的S[k],基本上都是照片上不同物体的边缘线,这些线段形状相似,区别在于方向。

Bruno Olshausen和David Field 的算法结果,与David Hubel 和Torsten Wiesel 的生理发现,不谋而合!

也就是说,复杂图形,往往由一些基本结构组成。比如下图:一个图可以通过用64种正交的edges(可以理解成正交的基本结构)来线性表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献,因此均为0 。

另外,大牛们还发现,不仅图像存在这个规律,声音也存在。他们从未标注的声音中发现了20种基本的声音结构,其余的声音可以由这20种基本结构合成。

4.3、结构性特征表示

小块的图形可以由基本edge构成,更结构化,更复杂的,具有概念性的图形如何表示呢?这就需要更高层次的特征表示,比如V2,V4。因此V1看像素级是像素级。V2看V1是像素级,这个是层次递进的,高层表达由底层表达的组合而成。专业点说就是基basis。V1取提出的basis是边缘,然后V2层是V1层这些basis的组合,这时候V2区得到的又是高一层的basis。即上一层的basis组合的结果,上上层又是上一层的组合basis……(所以有大牛说Deep learning就是―搞基‖,因为难听,所以美其名曰Deep learning或者Unsupervised Feature Learning)

直观上说,就是找到make sense的小patch再将其进行combine,就得到了上一层的feature,递归地向上learning feature。

在不同object上做training是,所得的edge basis 是非常相似的,但object parts和models 就会completely different了(那咱们分辨car或者face是不是容易多了):

从文本来说,一个doc表示什么意思?我们描述一件事情,用什么来表示比较合适?用一个一个字嘛,我看不是,字就是像素级别了,起码应该是term,换句话说每个doc都由term构成,但这样表示概念的能力就够了嘛,可能也不够,需要再上一步,达到topic级,有了topic,再到doc就合理。但每个层次的数量差距很大,比如doc表示的概念->topic(千-万量级)->term(10万量级)->word

(百万量级)。

一个人在看一个doc的时候,眼睛看到的是word,由这些word在大脑里自动切词形成term,在按照概念组织的方式,先验的学习,得到topic,然后再进行高层次的learning。

4.4、需要有多少个特征?

我们知道需要层次的特征构建,由浅入深,但每一层该有多少个特征呢?任何一种方法,特征越多,给出的参考信息就越多,准确性会得到提升。但特征多意味着计算复杂,探索的空间大,可以用来训练的数据在每个特征上就会稀疏,都会带来各种问题,并不一定特征越多越好。

好了,到了这一步,终于可以聊到Deep learning了。上面我们聊到为什么会有Deep learning(让机器自动学习良好的特征,而免去人工选取过程。还有参考人的分层视觉处理系统),我们得到一个结论就是Deep learning需要多层来获得更

抽象的特征表达。那么多少层才合适呢?用什么架构来建模呢?怎么进行非监督训练呢?

五、Deep Learning的基本思想

假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为:I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失(呵呵,大牛说,这是不可能的。

信息论中有个―信息逐层丢失‖的说法(信息处理不等式),设处理a信息得到b,再对b处理得到c,那么可以证明:a和c的互信息不会超过a和b的互信息。

这表明信息处理不会增加信息,大部分处理会丢失信息。当然了,如果丢掉的是没用的信息那多好啊),保持了不变,这意味着输入I经过每一层Si都没有任何的信息损失,即在任何一层Si,它都是原有信息(即输入I)的另外一种表示。

现在回到我们的主题Deep Learning,我们需要自动地学习特征,假设我们有一

堆输入I(如一堆图像或者文本),假设我们设计了一个系统S(有n层),我们

通过调整系统中参数,使得它的输出仍然是输入I,那么我们就可以自动地获取得到输入I的一系列层次特征,即S1,…, Sn。

对于深度学习来说,其思想就是对堆叠多个层,也就是说这一层的输出作为下一层的输入。通过这种方式,就可以实现对输入信息进行分级表达了。

另外,前面是假设输出严格地等于输入,这个限制太严格,我们可以略微地放松这个限制,例如我们只要使得输入与输出的差别尽可能地小即可,这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。

六、浅层学习(Shallow Learning)和深度学习(Deep Learning)

浅层学习是机器学习的第一次浪潮。

20世纪80年代末期,用于人工神经网络的反向传播算法(也叫Back

Propagation算法或者BP算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用BP算法可

以让一个人工神经网络模型从大量训练样本中学习统计规律,从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显出优越性。这个时候的人工神经网络,虽也被称作多层感知机(Multi-layer Perceptron),但实际是种只含有一层隐层节点的浅层模型。

20世纪90年代,各种各样的浅层机器学习模型相继被提出,例如支撑向量机(SVM,Support Vector Machines)、Boosting、最大熵方法(如LR,Logistic Regression)等。这些模型的结构基本上可以看成带有一层隐层节点(如SVM、Boosting),或没有隐层节点(如LR)。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下,由于理论分析的难度大,训练方法又需要很多经验和技巧,这个时期浅层人工神经网络反而相对沉寂。

深度学习是机器学习的第二次浪潮。

2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton

和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点:1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过―逐层初始化‖(layer-wise pre-training)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。

当前多数分类、回归等学习方法为浅层结构算法,其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,并展现了强大的从少数样本集中学习数据集本质特征的能力。(多层的好处是可以用较少的参数表示复杂的函数)

深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,―深度模型‖是手段,―特征学习‖是目的。区别于传统的浅层学习,深度学习的不同在于:1)强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2)明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。

七、Deep learning与Neural Network

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

Deep learning本身算是machine learning的一个分支,简单可以理解为neural network的发展。大约二三十年前,neural network曾经是ML领域特别火热的一个方向,但是后来确慢慢淡出了,原因包括以下几个方面:

1)比较容易过拟合,参数比较难tune,而且需要不少trick;

2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优;

所以中间有大约20多年的时间,神经网络被关注很少,这段时间基本上是SVM和boosting算法的天下。但是,一个痴心的老先生Hinton,他坚持了下来,并最终(和其它人一起Bengio、Yann.lecun等)提成了一个实际可行的deep learning框架。

Deep learning与传统的神经网络之间有相同的地方也有很多不同。

二者的相同在于deep learning采用了神经网络相似的分层结构,系统由包括输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个logistic regression

模型;这种分层结构,是比较接近人类大脑的结构的。

而为了克服神经网络训练中的问题,DL采用了与神经网络很不同的训练机制。传统神经网络中,采用的是back propagation的方式进行,简单来讲就是采用迭代的算法来训练整个网络,随机设定初值,计算当前网络的输出,然后根据当前输出和label之间的差去改变前面各层的参数,直到收敛(整体是一个梯度下降法)。而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为,如果采用back propagation的机制,对于一个deep network(7层以上),残差传播到最前面的层已经变得太小,出现所谓的gradient diffusion(梯度扩散)。这个问题我们接下来讨论。

八、Deep learning训练过程

8.1、传统神经网络的训练方法为什么不能用在深度神经网络

BP算法作为传统训练多层网络的典型算法,实际上对仅含几层网络,该训练方法就已经很不理想。深度结构(涉及多个非线性处理单元层)非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。

BP算法存在的问题:

(1)梯度越来越稀疏:从顶层越往下,误差校正信号越来越小;

(2)收敛到局部最小值:尤其是从远离最优区域开始的时候(随机值初始化会导致这种情况的发生);

(3)一般,我们只能用有标签的数据来训练:但大部分的数据是没标签的,而大脑可以从没有标签的的数据中学习;

8.2、deep learning训练过程

如果对所有层同时训练,时间复杂度会太高;如果每次训练一层,偏差就会逐层传递。这会面临跟上面监督学习中相反的问题,会严重欠拟合(因为深度网络的神经元和参数太多了)。

2006年,hinton提出了在非监督数据上建立多层神经网络的一个有效方法,简单的说,分为两步,一是每次训练一层网络,二是调优,使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是:

1)首先逐层构建单层神经元,这样每次都是训练一个单层网络。

2)当所有层训练完后,Hinton使用wake-sleep算法进行调优。

将除最顶层的其它层间的权重变为双向的,这样最顶层仍然是一个单层神经网络,而其它层则变为了图模型。向上的权重用于―认知‖,向下的权重用于―生成‖。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致,也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸,那么所有人脸的图像应该激活这个结点,并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。

1)wake阶段:认知过程,通过外界的特征和向上的权重(认知权重)产生每一层的抽象表示(结点状态),并且使用梯度下降修改层间的下行权重(生成权重)。也就是―如果现实跟我想象的不一样,改变我的权重使得我想象的东西就是这样的‖。

2)sleep阶段:生成过程,通过顶层表示(醒时学得的概念)和向下权重,生成底层的状态,同时修改层间向上的权重。也就是―如果梦中的景象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个概念‖。

deep learning训练过程具体如下:

1)使用自下上升非监督学习(就是从底层开始,一层一层的往顶层训练):采用无标定数据(有标定数据也可)分层训练各层参数,这一步可以看作是一个无监督训练过程,是和传统神经网络区别最大的部分(这个过程可以看作是

feature learning过程):

具体的,先用无标定数据训练第一层,训练时先学习第一层的参数(这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层),由于模型capacity的限制以及稀疏性约束,使得得到的模型能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征;在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;

2)自顶向下的监督学习(就是通过带标签的数据去训练,误差自顶向下传输,对网络进行微调):

基于第一步得到的各层参数进一步fine-tune整个多层模型的参数,这一步是一个有监督训练过程;第一步类似神经网络的随机初始化初值过程,由于DL 的第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果;所以deep learning效果好很大程度上归功于第一步的feature learning过程。

九、Deep Learning的常用模型或者方法

9.1、AutoEncoder自动编码器

Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现,自动编码器就必须捕捉可以代表输入数据的最重要的因素,就像PCA那样,找到可以代表原信息的主要成分。

具体过程简单的说明如下:

1)给定无标签数据,用非监督学习学习特征

在我们之前的神经网络中,如第一个图,我们输入的样本是有标签的,即(input, target),这样我们根据当前输出和target(label)之间的差去改变前面各层的参数,直到收敛。但现在我们只有无标签数据,也就是右边的图。那么这个误差怎么得到呢?

如上图,我们将input输入一个encoder编码器,就会得到一个code,这个code也就是输入的一个表示,那么我们怎么知道这个code表示的就是input呢?我们加一个decoder解码器,这时候decoder就会输出一个信息,那么如果输出的这个信息和一开始的输入信号input是很像的(理想情况下就是一样的),那很明显,我们就有理由相信这个code是靠谱

的。所以,我们就通过调整encoder和decoder的参数,使得重构误差最小,这时候我们就得到了输入input信号的第一个表示了,也就是编码code了。因为是无标签数据,所以误差的来源就是直接重构后与原输入相比得到。

2)通过编码器产生特征,然后训练下一层。这样逐层训练:

那上面我们就得到第一层的code,我们的重构误差最小让我们相信这个code 就是原输入信号的良好表达了,或者牵强点说,它和原信号是一模一样的(表达不一样,反映的是一个东西)。那第二层和第一层的训练方式就没有差别了,我们将第一层输出的code当成第二层的输入信号,同样最小化重构误差,就会得到第二层的参数,并且得到第二层输入的code,也就是原输入信息的第二个表达了。其他层就同样的方法炮制就行了(训练这一层,前面层的参数都是固定的,并且他们的decoder已经没用了,都不需要了。

3)有监督微调:

经过上面的方法,我们就可以得到很多层了。至于需要多少层(或者深度需要多少,这个目前本身就没有一个科学的评价方法)需要自己试验调了。每一层都会得到原始输入的不同的表达。当然了,我们觉得它是越抽象越好了,就像人的视觉系统一样。

到这里,这个AutoEncoder还不能用来分类数据,因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。或者说,它只是学习获得了一个可以良好代表输入的特征,这个特征可以最大程度上代表原输入信号。那么,为了实现分类,我们就可以在AutoEncoder的最顶的编码层添加一个分类器(例如罗杰斯特回归、SVM等),然后通过标准的多层神经网络的监督训练方法(梯度下降法)去训练。

也就是说,这时候,我们需要将最后层的特征code输入到最后的分类器,通过有标签样本,通过监督学习进行微调,这也分两种,一个是只调整分类器(黑

色部分):

另一种:通过有标签样本,微调整个系统:(如果有足够多的数据,这个是最好的。end-to-end learning端对端学习

一旦监督训练完成,这个网络就可以用来分类了。神经网络的最顶层可以作为一个线性分类器,然后我们可以用一个更好性能的分类器去取代它。在研究中可以发现,如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度,甚至在分类问题中比目前最好的分类算法效果还要好!

AutoEncoder存在一些变体,这里简要介绍下两个:

Sparse AutoEncoder稀疏自动编码器:

当然,我们还可以继续加上一些约束条件得到新的Deep Learning方法,如:如

果在AutoEncoder的基础上加上L1的Regularity限制(L1主要是约束每一层中

的节点中大部分都要为0,只有少数不为0,这就是Sparse名字的来源),我们

就可以得到Sparse AutoEncoder法。

如上图,其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效(人脑好像也是这样的,某个输入只是刺激某些神经元,其他的大部分的神经元是受到抑制的)。

Denoising AutoEncoders降噪自动编码器:

降噪自动编码器DA是在自动编码器的基础上,训练数据加入噪声,所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因此,这就迫使编码器去学习输入信号的更加鲁棒的表达,这也是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训练。

9.2、Sparse Coding稀疏编码

如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ1+ a2*Φ2+….+ an*Φn,Φi是基,ai是系数,我们可以得到这样一个优化问题:

Min |I – O|,其中I表示输入,O表示输出。

通过求解这个最优化式子,我们可以求得系数ai和基Φi,这些系数和基就是输入的另外一种近似表达。

因此,它们可以用来表达输入I,这个过程也是自动学习得到的。如果我们在上述式子上加上L1的Regularity限制,得到:

Min |I –O| + u*(|a1| + |a2| + … + |an |)

这种方法被称为Sparse Coding。通俗的说,就是将一个信号表示为一组基的线性组合,而且要求只需要较少的几个基就可以将信号表示出来。―稀疏性‖

江南营_江南深度研学之旅(1)

诗梦江南,入画寻踪 ——长清区实验小学江南深度研学实践之旅 【课程简介】 一道水,一架桥,一支橹声,隽秀婉约的聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南,同时感受一场从远古传说,到春秋的吴越文化,到南北朝的文人风骨,再到明清以及近代的大儒伟人的历史盛宴。活动中,同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里,穿越历史,冶爱国之志,体悟文化魅力;一起走进园,欣赏宋代江南私家园林的秀美景观,探寻园林蕴含的文化涵;一起游历西湖,领略“淡妆浓抹总相宜”的如画美景;一起走进综合性人文科学博物馆博物馆、中国黄酒博物馆,全面了解历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】

上午探访安昌古镇漫游小桥流水梦回江南水乡游历江南小镇,画笔描绘 第五天 下午乘坐高铁前往:车次G60东-西 15:22-19:48辅导员送站一次相聚一生情谊备注:因天气交通等原因,组委会保留调整活动顺序及个别项目的权力,保证活动总量不变。 【活动费用】 2900/人;包含火车(往返高铁)及活动期间所有的费用。 ?【人文积淀-理性思维】·第一天下午·钱塘江·六和塔 钱塘江潮被誉为“天下第一潮”,是世界一大自然奇观,它是天体引力和地球自转的离心作用,加上湾喇叭口的特殊地形所造成的特大涌潮。六和塔位于省市西湖之南,钱塘江畔 月轮山上,是中国现存最完好的砖木结构古塔之一。 小任务1:学生面对浩渺的钱塘江,接受审美教育,并结合手册提示,探究钱塘江大潮的在科学原理; 小任务2:学生走进六和塔,收集关于六和塔的传说故事,留下自己与六和塔最美的合照; ?【审美情趣-人文积淀】·第二天上午·西湖·省博物馆 西湖,是一首诗,一幅天然图画,一个美丽动人的故事,不论是多年居住在这里的人还是匆匆而过的旅人,无不为这天下无双的美景所倾倒。平湖秋月、断桥残雪、柳浪闻莺、花 港观鱼、雷峰夕照、双峰插云、南屏晚钟、三潭印月,西湖十景个擅其胜。省博物馆是省规 模最大的综合性人文科学博物馆,文物品类丰富,年代序列完整。 小任务1:集体创绘,全体学生齐动手,集体协作,面对美景,协作创作最美的西湖; 小任务2:走进博物馆,寻访国宝,找一找最能代表江南文化的文物,向小组同学分享并交流;

南开大学军事学军事思想专业

全国首届非军事院校军事学研究生毕业 6月30日,全国非军事院校唯一的军事学硕士点——南开大学军事学军事思想专业举行毕业典礼。南开大学校长饶子和院士亲自为首届6名军事学硕士毕业生颁发毕业证书和硕士学位证书,并施拨穗礼。 饶子和代表南开大学向6名军事学硕士表示热烈祝贺,他说:“军事学专业的硕士点在南开大学设立,是国防军事教育与高等教育的良好结合,希望南开军事学子在毕业之后能够不断努力,用自身的实际行动报效祖国,回馈社会,报答母校。” 曾经担任6名毕业生答辩委员会主席的国防大学战略部主任、博士生导师、全军马克思主义军事理论中国化问题研究首席专家张伊宁将军说:“我国的《国防动员法》、《国防教育法》中鼓励军事学与国民教育相结合,在国防事业中提倡要走‘军民融合’式的道路,而南开大学军事学硕士的培养正是一次开创性的尝试,而且培养的学生质量很高,具有学

术精神。这既是对军事学如何走进高等教育的探索,也是部队建设的需要。这在我国国防教育的历史上是应该载入史册的一件大事。” 南开大学军事学科的创始人和学术带头人、6名毕业生的导师艾跃进教授表示:“6位同学作为首届军事学专业的硕士,通过课堂上的学习、军营里的磨练,在南开精神的哺育下,在学校领导和各相关部门的支持和帮助下,通过其自身的不懈追求和努力,成功通过了毕业论文答辩。希望在将来的工作和学习中,同学们能够为实现理想不断努力,学会高调做事低调做人,争取成为国家栋梁之才。” 毕业生代表韩锐说:“在3年的学习实践中,我们不仅全面系统地学习了军事思想专业课程,也深刻理解了‘允公允能,日新月异’的南开校训,毕业之后一定不负母校与恩师的希望,用所学的专业知识报效祖国,做一名合格的南开军事人。” 据悉,在南开大学学习期间,6名硕士生系统学习了毛泽东军事思想问题研究、中国古代军事思想问题研究、中西军事思想比较问题研究等课程,还多次参与学校军训工作,并深

特朗普经济学与中美贸易失衡外文文献翻译

特朗普经济学与中美贸易失衡中英文 英文 Trump economics and China–US trade imbalances Justin YifuLin 1. Introduction The trade deficit of the Unites States, as shown in Fig, expanded from around zero before mid-1970s to peak in 2006 at $761 billion, which was around 5% of the US GDP. The trade deficit of goods was even larger, peaking at $837 billion in 2006. Though this value decreased after the 2008 global financial crisis, it was still at a remarkably high level as $752 billion in 2016. The trade imbalances between US and Japan and other industrialized economies contributed most to the rising US trade deficits before the 1980s, while in recent years the US runs deficits mainly against emerging Asian economies and oil-producing economies. President Trump argues that the US trade deficit was caused by unfavorable trade agreements against the US and pledges to eliminate them by bilateral renegotiations or unilateral actions. The US–China trade imbalance has been a prime concern of President Trump ever since his election campaign in 2015. The official data provided by the US Census Bureau shows that China, the emerging major player in the process of globalization, has been running a trade surplus with the US since 1984. China’s trade balance with the US

城市道路可研编制深度要求

城市道路工程可行性研究报告文件编制深度(提纲) 1 概述 工程项目的背景,建设的必要性以及项目研究过程。 编制依据经批准的项目建议书或立项批准文件。 委托单位的委托书及有关的合同、协议书。 其它依据性文件。 批准的道路网规划及城市排水规划。 研究的范围及内容。 主要研究结论。 对预可行性研究报告(项目建议书)批复意见执行情况。 工程项目结论性评价和推荐方案概述(道路等级、功能定位、技术标准、主要技术指标、程规模范围、设计内容、建设进度计划、项目建设必要性、技术可行性、社会环境效益等)。 对下阶段工作的建议。 2 现状评价及建设条件 区域概况。 道路现状及评价。 现状道路交通量及评价。 沿线建筑、文物古迹、树木、河流、湖泊及地上杆管线等情况。 沿线水文地质等到自然条件,地震烈度区划。 工程地质资料。 3 道路规划及交通量预测 4采用的规范和标准 5工程建设必要性 论证分析道路沿线土地资源使用情况及将来开发情况,论证道路修建的可能性和必要性。论证经济发展对道路交通的要求,分析主要交通源的特点。 论证修建道路对交通量增长的满足程度。 论证修建道路对工农业生产和人民生活的改善程度。 论证修建道路对环境的影响及环境改善的要求。 论证对文物古迹、树木等的保护措施。 6工程方案内容(进行多方案比选) 工程方案内容(进行多方案比选)方案设计原则。 总体方案总体布置方案。 主要节点方案 工程建设范围及规模。 道路工程 道路(含主、辅路)平纵横设计方案。 道路交叉设计方案。

路基、路面、挡土墙及附属构筑物设计方案。 人行道及过街设施、公交停车站及无障碍设施等。 道路景观设计方案。 桥梁与隧道工程。 沿线桥梁与隧道工程概况。 技术标准。 桥梁与隧道设计方案。 排水工程排水工程概况。技术标准。 排水工程设计方案。附属工程。交通安全及管理设施。 照明工程。 绿化工程。 其它附属工程(管线综合布置方案等)。 7环境评价 大气环境质量。 交通噪声。 振动环境质量。 日照环境质量。 8新技术应用及建议科研项目 9工程建设阶段划分和进度计划安排设想 10 征地拆迁及主要工程数量11 资金筹措 12 投资估算及经济评价见本规定《投资估算经济评价和概预算文件》的相关章节 13 结论和存在问题 结论意见 根据论证,提出结论性评价和推荐方案的意见。存在问题和建议。 14 附图 道路区域地理位置图。 道路平面及纵断面图,平面 1:2000~1:5000。垂直 1:50~1:100。 道路规划横断面及拟建横断面布置、路面结构方案图。 主要节点方案图。 桥梁与遂道工程方案图。 排水工程方案图。 附属工程方案图。 15与编制依据有关的文件和附件 附注:

规划申报方案内容和深度要求

规划申报方案内容和深度要求 申报方案主要包括规划说明书,现状图,总平面规划图,道路交通及竖向规划图,地下建筑平、剖面图,日照分析报告,根据项目的位置和重要程度可增加透视图,模型或动画。 1、说明书:说明项目背景和基地及其周边的现状情况,包括土地权属情 况,历史遗存和灾害影响等情况;分析研究相关规划控制要求以及项 目存在的问题,明确规划方案的主导思想和设计目标;阐述规划方案 的总体构思和规划布局。附表:“规划用地平衡表”“主要技术经济指 标表”“停车场(库)统计表”“公共配套设施统计表”“绿地明细表” 以及“建筑信息表”。 2、现状图:在现状地形图上标明规划用地范围界限,建设用地产权界限, 城市道路红线,宽度及名称,现状建筑的用途、层数等。 3、总平面规划图:要求普通纸质彩图。在现状地形图(图纸上淡化地形 地物线条,删除不必要的地形信息)上标明建筑、绿地、道路、广场、 停车场等的平面布局;表明各类建筑的平面轮廓、建筑信息、建筑标 高;标注建筑间距、尺寸,建筑退让各类控制线、组团级以上道路及 地界的距离;标明规划用地范围、绿地边界范围;标明道路红线、交 叉口控制范围、河道、绿地、高压线走廊、文物古迹保护范围等规划 控制线;标明地面停车场范围及车位布置方式,地下停车库等地下空 间的范围、层数以及出入口等。附“规划用地平衡表”“主要技术经济 指标表”“停车场(库)统计表”“公共配套设施统计表”“绿地明细表”。 4、道路交通及竖向规划图:图纸复杂时,该图可分为道路交通分析图和 竖向设计图。标明规划地块的人流、车流主要出入口,标注出入口距 城市道路交叉口距离;标明各类交通设施的用地范围及平面形式,各 级道路的宽度;标明人流,车流交通流线;标明道路等级结构;标明 周边城市道路主要控制点高程,标明规划道路中线交叉点和主要变坡 点和平曲线拐点的控制高程;标明台阶、挡土墙的位置和控制高程 5、地下建筑平、剖面图:标明地下建筑外轮廓线、基础轮廓线,地下建 筑分类用途及各类建筑面积;地下停车车位数量、交通流线;标注覆 土深度、建筑底板标高、顶板标高。 6、日照分析报告:需采用正版经认证的软件编制。应详细标明项目概况、 日照分析的基础参数及日照标准、日照分析所依据的资料,标明现状、 规划或模拟建筑的性质、建筑层数、高度、标高、采样点情况,标明 建设前后的比较分析结果、公共绿地的日照遮挡情况、详细的日照分 析结论等。报告同时应附日照分析范围图和日照分析图。 7、透视图、模型或动画:视项目所处位置和重要程度的不同,可制作能 够表达规划范围内及周边建筑和空间关系的透视图、模型或动画。需 要市建委主任规划专题会议和市政府城建专题会议审查的项目,必须 制作透视图。 规划报批成果内容和深度要求 1、现状图:内容同报审方案 2、总平面规划图:内容基本同报审方案,不在标注建筑间距、尺寸、退

军事学专业介绍-高考志愿专业介绍

军事学专业介绍 1.下设学科分类 政治经济学、政治学、国际关系、军事外交、中国语言文学、军事历史、军事气象学、军事海洋学、军事心理学、军用材料工程、车辆运用工程、油料储运工程、核动力工程、电子工程、雷达工程、导航工程、侦测工程、密码装备工程、仿真工程、指挥自动化工程、国防建设学、野战给水工程、国防建设设备工程等 2.报考热度 1 国防科技大学 2 第四军医大学 3 解放军国际关系学院 4 中国人民解放军空军雷达学院 5 中国人民解放军理工大学 6 空军工程大学 7 第二炮兵工程学院 8 炮兵学院 9 装甲兵工程学院 10 中国人民解放军海军航空工程学院 11 军事交通学院 12 中国人民武装警察部队工程学院 13 海军大连舰艇学院 14 中国人民解放军陆军航空兵学院 15 中国人民解放军军械工程学院 16 中国人民解放军防化指挥工程学院 17 海军工程大学 18 中国人民解放军装备指挥学院 19 中国人民解放军沈阳炮兵学院 20 中国人民解放军徐州空军学院(原空军后勤学院) 21 解放军外国语学院 22 武警医学院 23 武警北京指挥学院 24 国防科学技术大学

3.军事学介绍 现代军事科学体系军事科学体系包括军事科学的整体结构、学科的划分以及各学科之间相互关系的安排等。随着现代科学技术的迅速发展,军事科学领域的学科划分越来越细,层次越来越多,各学科间的相互依存关系也越来越密切。加强对军事科学体系的研究,对于军事科学的全面发展以及各学科的发展都有重要意义。现代军事科学包括军事理论科学和军事技术科学两大部分。 军事理论科学大体可分为军事思想和军事学术两个门类,以下再分为若干学科。军事思想是研究战争观和战争与军事问题的方法论、战争指导思想、建军指导思想等,从而揭示战争的本质和基本规律;研究武装力量建设和使用的基本原则;研究具有一定代表性的国家、军队,主要领导人和军事家在战争与军事问题上的基本思想、观点和理论等。 军事学术是研究战争指导和军队建设的规律和方法。通常包括:战略学、战役学、战术学、军队指挥学、军事运筹学、军制学、战争动员学、军事教育训练学、军队政治工作学、军队后勤学,以及军事历史学、军事地理学等。 军事技术科学主要研究现代各种武器装备的研制、生产、使用和维修保养等技术,以及军事工程和军事系统工程等。 军事技术科学的分类,包括基础理论和各个应用学科,后者按现代武器装备在各军种、兵种中日益专门化和综合化的趋势划分为:海军技术、空军技术、战略导弹部队技术、装甲兵技术等;按武器装备的种类划分为:枪械、火炮、坦克和装甲车辆、军用飞机、舰艇、导弹、核武器,以及自动化的通信、指挥、侦察系统等。 军事科学体系不是固定不变的,它随着军事和军事科学的发展而发展。新的军事专业不断出现,学科随之增加。如战略理论的研究,除了总体的研究外,还分别有各种战略的研究,诸如核战略、海洋战略、空中战略、外层空间战略以及战区战略、后勤战略等等。另一方面,由于军事与政治、经济、科技等领域的关系密切,军事科学同其他领域中一些学科的联系日益加强,互相交叉,互相渗透,从而又逐渐形成一些新的边缘学科,如国防经济学、国防外交学、国防教育学、军事管理学、军事社会学、军事人才学、军事伦理学、军事心理学等,军事技术科学的边缘学科则为数更多,如军事工程地质学、航空航天系统工程学等等。

配电网工程可行性研究报告内容深度规定(征求意见稿)

百度文库- 让每个人平等地提升自我 配电网工程可行性研究报告内容深度规定 浙江省电力公司 2013年3月

第一部分配电网配电工程可行性研究内容深度规定 1范围 本标准规定了配电网配电工程可行性研究的内容深度要求。 本标准适用于新建、扩建或改造10(20)kV及以下配电工程的可行性研究。本标准只对设计的内容深度做出规定,不作为设计专业分工和卷册划分的标准。 2总则 本规定是编制、评审配电工程可行性研究报告(以下简称可研报告)的重要依据。 设计文件应遵守国家及有关部门颁发的设计文件编制和审批工作管理的规定。 编制可研报告应以审定的配电网规划为基础,并充分应用电力设施布局规划成果。 可研报告应落实通用设计方案的采用情况,落实差异化设计原则以及“两型一化”变电站设计原则的贯彻情况,说明新技术应用情况。 3一般规定 编制可研报告时,设计单位应完整、准确、充分地掌握设计原始资料和基础数据,确保资料齐全、文字说明清楚、计算结果和图纸清晰、正确。 当有多个设计单位参与编制同一工程可研报告时,应明确其中一个单位为总体设计单位。总体设计单位应对参与设计单位的设计内容负责,对相关协调、配合工作归口负责,对参与设计、测试单位的资质提出意见,并将各参与单位的可研、测试等报告的主要内容和结论整理归纳到工程可研总报告中。 配电网架空线路工程可行性研究成果包括以下内容: (1)可行性研究报告说明书(含附图、附件) (2)可研估算书 (3)专题报告(根据需要编制) 3.3.1 可行性研究报告说明书包括以下内容: (1)工程概述 (2)电力系统 (3)站址的选择 (4)配电站工程设想 (5)基建标准化成果及新技术的应用 (6)投资估算 (7)附图和附件 3.3.2 可研报告应包括以下图纸,可作为附图,也可随文布置: (1)电网地理接线图 (2)配电站主接线图 (3)配电站总平布置图 (4)通信链路拓扑图 (5)光缆走向示意图

分区规划编制内容深度规定

分区规划编制内容深度规定 一、规划原则 分区规划旨在为总体规划的进一步深化提供更为具体可行的指导依据,将总体规划与各专业规划要求层层分解,提出规划控制要求,在总规与控规之间架起一座桥梁,承上启下,以确保规划的一脉相承。制定分区规划应坚持的原则: 1、全范围覆盖,淡化城市与农村、城市建设用地与村镇建设用地界线,将建设用地与非建设用地同等对待。 2、"三图合一":将土地利用规划、村镇建设规划、城市总体规划的主要控制原则统一考虑,在都市区内实现三图合一、统一管理的目的。 3、远近结合:在分析各片区现状的基础上,针对各片区的发展目标(功能定位),提出近期的规划发展策及远期的重点建设控制。 4、引导与控制相结合:规划中既有引导性条款,也有控制性指标,将宏观引导与微观控制相结合,确保规划所应有的刚性和适当的弹性。 二、分区规划的主要内容 分区规划应按城市规划编制办法及其他国家有关规范标准规定编制,成果表现突出和增加以下内容: 1、分区人口、建设用地规模; 2、分区功能定位及用地功能布局; 3、发展中要重点解决的问题; 4、用地开发强度等级: 将各片区用地按开发强度分为七级: 建设容量控制一览表 级别控制强度 Ⅰ建筑密度35%-45% 绿地率25%-30% 平均容积率3-8 Ⅱ建筑密度25%-35% 绿地率30%-35% 平均容积率1-3 Ⅲ建筑密度15%-25% 绿地率35%-45% 平均容积率0.5-1.0 Ⅳ绿地率>45% 建设用地比例40%-50% 平均容积率小于0.5 Ⅴ绿地率45%-80% 建设用地比例10%-40% Ⅵ绿地率80%-90% 建设用地比例5%-10% Ⅶ绿地率>95% 建设用地比例<5% 结合各片区用地现状及建设条件综合评价,划分各级用地规划范围,提出相应控制要求。5、确定用地性质(按用地分类标准至中级),通过五条控制线,严格控制五种用地: 红线──次干路以上道路的红线宽度; 绿线──区级以上公园绿地及8米以上绿化带用地范围; 黄线──重大市政设施用地范围; 紫线──历史文化名城保护要素:绝对保护区、景观保护区、建设协调区等; 蓝线──大型水体保护范围。 6、城市设计及景观控制导引: 明确重点景观轴线、视线走廊、背景山体、高层建筑引导区及控制区、限制区等。 7、重大项目规划及近期建设项目安排: 片区内重大项目规划及近期必须尽快实施的建设项目。 8、下阶段规划控制单元的划定: 按照城市用地功能、地块完整性,划定控制性详细规划的基本控制单元。

研学方案

“研学旅行”实施方案 一、项目实施背景 从2013年发布《国民休闲旅游纲要》到2016年的《关于推进中小学生研学旅行的意见》,国家教育部等多部门发文要求大力推进研学旅行。研学旅行有利于促进学生培育和践行社会主义核心价值观,激发学生对党、对国家、对人民的热爱之情;有利于推动全面实施素质教育,创新人才培养模式,引导学生主动适应社会,促进书本知识和生活经验的深度融合;有利于加快提高人民生活质量,满足学生日益增长的旅游需求,从小培养学生文明旅游意识,养成文明旅游行为习惯。近年来,各地积极探索开展研学旅行,部分试点地区取得显著成效,在促进学生健康成长和全面发展等方面发挥了重要作用。二、定位与宗旨 目前大多数研学旅行还处在研究开发状态,良莠不齐,市场认可度不够,家长热度不高(尤其省内)。这是我们的机遇,也是挑战,我们的定位是要打造出一个学校认可、家长认可、学生认可的研学品牌,让学生在研学中学到东西。 三、具体实施 (一)方案A:纯旅游研学 本方案以若干旅游景点为研学地点,前期采取跟旅行社合作的方式(合作方式有待探讨),研学的核心(课件+“内容”)内容采取跟大学历史系或者旅游系的老师合作。 该方案的优点:该方案采用跟旅行社合作,研学路线可以借用

旅行社的优势,资源充分整合,老师和家长的路线选择多,可以极大丰富学生的课外知识,并且可以开展夏令营和冬令营活动。缺点是要综合考虑各个年龄段的学生,路线过多,会导致前期工作准备不够充足。 方案细节初步安排如下: 1、前期工作(3月20日-3月30日): (1)与某个旅行社达成合作关系(目前有合作意向的有康辉旅行社); (2)与某个大学的历史或者旅游系老师达成合作关系,负责研学核心内容的开发,包括路线的选择和内容的开发 (3)完成计划的策划和确定具体实施细节。 2、中期工作(4月1日-5月30日) (1)4月1日-4月15日与旅行社和老师确定最终的研学路线; (2)4月15日-5月30日一个半月的时间根据最终具体的研学路线,来做具体的研学课件和研学内容,研究出研学到底应该让学生学到什么,怎么保证学生能学到这些; (3)同时根据最终确定的研学方案做好定价方案,在这个过程中要充分进行调研,进学校、访家长,做到收费合理; (4)根据做好的方案做好线上推广,把做好的资料全部上传到线上,可以参考北京世纪明德。

招收女生的主要军事院校和主要专业

招收女生的主要院校和主要专业有: 国防科技大学的测控技术与仪器、计算机科学与技术、通信工程、指挥自动化工程、自动化、外国语言文学、公共事业管理等。 解放军信息工程大学的测绘、电子、无线电、信息研究、计算机、通信、网络、测量工程等。 解放军理工大学的气象、电子、计算机、信息、通信、网络、指挥自动化、系统工程等。 解放军南京政治学院的哲学、军事心理学、新闻学、图书馆学和档案学等。 解放军国际关系学院的情报、国际关系、外交学等。 解放军外国语学院的军事情报和外国语言文学等。 解放军军事经济学院的军队财务管理和会计学专业。 第二、三、四军医大学的临床医学、医学检验、药物制剂、口腔医学和护理学等。 解放军装备指挥技术学院的军用光电工程、通信工程和航天测量工程专业。 海军工程大学、空军工程大学、第二炮兵工程大学的计算机科学与技术、指挥自动化工程专业。 还有军校部分通信专业招收女生的数量相对较多。 2.对文科类报考军校及专业提示 大部分军校和专业一般都以理科类学生为主。假如你特别想成为一名威武的军官,但学的恰恰又是文科。此时也无需着急,你可以通过资料了解军事院校中哪些军校以及专业招收文科考生。总的来说,招收文科类考生的军校和专业数量及规模相对较小。对这一点,你报考前必须做好充分的思想准备。这里提供一些招收文科类考生的主要院校和专业,仅供参考。

国防科技大学 公共事业管理专业:培养具有扎实文化工作理论功底和部队基层文化工作管理知识,具有一定写作能力和文体特长,具备较强的组织能力、鉴赏能力、创作能力和表演能力的文化工作干部。 外国语言文学(文、理兼招):该专业主要学习英语语言、语言学、文学及相关人文和科技方面的基础理论、基本知识,掌握英语听、说、读、写、译的基本技能、方法和相关知识,具有从事英语教学、翻译、科技情报研究、组织管理等实际工作和研究工作的初步能力。 解放军外国语学院 信息研究:为军队培养从事国际情报收集和研究人才。 外国军事:为军队培养专门从事外国军事研究和翻译的各语种的专业人才,包括英语、日语、朝鲜语、俄语等语种的考生。 国际关系:为军队教学、科研机构培养从事国际问题研究人才的专业。 外国语言文学:为军队院校或科研机构培养专门从事翻译和研究的外语专门人才,包括英语、日语、朝鲜语、俄语等语种的考生。 声学:为部队科研、情报机构培养从事声像信息分析编译与声像制作的专业人才。 解放军国际关系学院 外国语言文学:培养目标均为外语方面的军队干部。 军事外交:为军队培养外语类人才; 国际关系与安全:为军队培养外语类人才。 南京政治学院

2018年暨南大学经济学考试真题(完整版)

2018年暨南大学经济学考试真题(完整版) 考试科目名称:803西方经济学 考生注意:所有答案必须写在答题纸(卷)上,写在本试题上一律不给分。 一、选择题:(共20小题,每小题2分,共40分) 1. 假如生产某种商品的原材料价格上涨了,则该商品的() A. 需求曲线向左移动 B. 供给曲线向左移动 C. 需求曲线向右移动 D. 供给曲线向右移动 2. 两种商品的无差异曲线为斜率不变的直线时,表示这两种商品是() A. 可以替代的 B. 完全替代的 C. 互补的 D. 互不相关的 3. 总产量曲线达到最高点时() A. 平均产量曲线仍上升 B. 边际产量曲线与平均产量曲线相交 C. 边际产量曲线与横轴相交 D. 平均产量曲线达到最高点 4. 长期成本曲线上的每一点都是短期成本曲线上的点,但短期成本曲线上并非每一点都是长期成本曲线上的点,这句话()。 A. 总是对的 B. 有时对 C. 总是错的 D. 无法判断 5. 完全竞争市场中,企业的短期均衡意味着() A. 不存在经济利润 B. 不存在正常利润 C. D. 不存在亏损 6. 在完全竞争市场中,价格下限是无效率的,因为() A. 生产者和消费者都遭受损失 B. 生产者受损,消费者可能得利也可能受损,但社会总福利会损失 C. 消费者受损,生产者可能得利也可能受损,但社会总福利会损失 D. 生产者和消费者都可能受损也可能得利,但社会总福利会损失 7. 一家农药生产商根据农药的浓度出售他的产品——对园艺店以低浓度处方零售,对专业园艺家则以高浓度处方出售。则该厂商实行的是() A. 一级价格歧视 B. 二级价格歧视 C. 三级价格歧视 D. 配方不同,销售对象不同,因此没有价格歧视 8.长期均衡点上的垄断竞争厂商,其长期平均成本曲线处于() A. 上升阶段 B. 下降阶段 C. 水平阶段 D. 以上三种情况都可能 9. 在完全竞争的要素市场上,生产要素价格、产品价格和产品边际收益均等于 4元,且此时厂商得到了最大利润,则生产要素的边际产量是() A. 2 B. 1 C. 4 D. 不可确定 10. 关于效用可能性边界,说法正确的是() A. 可能有正斜率 B. 描述了契约曲线上配置的效用水平 C. 取决于初始配置的分配 D. A和B都正确 11. 如果2020年的名义GDP大于2019年的名义GDP,那么2020年的实际GDP 增长率应该()

中国南方电网有限责任公司10(20)kV及以下配电网项目可行性研究内容深度规定

Q/CSG 115004-2011 中国南方电网有限责任公司 10(20)kV 及以下配电网项目 可行性研究内容深度规定 Q/CSG 中国南方电网有限责任公司企业标准 Q/CSG 115004-2011 ICS 备案号: P 2011 – 4 - 20 发布 2011 – 4 - 20 实施 中国南方电网有限责任公司 发 布

目次 前言 (2) 引言 (3) 1 适用范围 (4) 2 规范性引用文件 (4) 3 编制的基本要求 (4) 4 内容及深度要求 (5) 5 附表及附图 (8) 5.1附表 (8) 5.2附图 (8) 附录A(规范性附录) XX地市(州)供电局10KV及以下配电网项目汇总 (9) 附录B(规范性附录) 10KV及以下配电网项目可行性研究表 (10) 附录C(规范性附录) XX批次配电网项目实施前后指标对比表 (11)

前言 根据中国南方电网有限责任公司(以下简称“公司”)一体化管理工作推进的要求,公司组织五省(区)电网公司、有代表性的地市(州)供电局及设计单位规划计划专业技术人员起草本内容深度规定。本规定的编写结合了各省(区)、地市(州)的实际情况,经过征求意见和三次会议集中讨论而形成。 本规定主要起草单位:南方电网公司计划发展部、广东电网公司、广西电网公司、云南电网公司、贵州电网公司、海南电网公司、广州供电局、佛山供电局、南宁供电局、昆明供电局、贵阳供电局、凯里供电局、台江供电局、海口供电局、佛山南海电力设计院工程有限公司、佛山电力设计院有限公司。 本规定主要起草人:陈旭、邱朝明、戴志伟、张祖荣、张雪莹、张宁、李云芬、张群安、刘长春、罗竹平、陆冰雁、刘东升、郑星炯、刘先虎、廖小文、施坚、雷霖、陈守吉、吴振东、柯景发、罗崇熙、李成、黄少红、柳春芳、梁辉平。 本规定由中国南方电网公司计划发展部提出、归口并解释。 本规定自2011年4月20日起执行。

《城市总体规划》主要专项规划内容及深度要求内容

《城市总体规划》主要专项规划容及深度要求

目录 《城市给水工程专项规划》.......................................................................... .. (3) 《城市排水工程专项规划》.......................................................................... .. (5) 《城市电力工程专项规划》.......................................................................... .. (7) 《城市电信工程专项规划》.......................................................................... .. (9) 《城市燃气专项规划》.......................................................................... .. (11) 《城市消防专项规划》.......................................................................... .. (13)

《城市应急避难场所专项规划》.......................................................................... . (16) 《城市给水工程专项规划》容及要求《城市给水工程专项规划》成果包括规划文本、图纸和附件(说明书、基础资料汇编等)。 一、规划文本 (一) 总则 容包括编制规划的目的、规划依据、规划指导思想与原则、规划期限与规划围等。 (二) 规划目标与规划建设标准。 容包括规划供水规模、人均用水量标准、消防水量标准、用水最大时管网水压标准和进行消防校核时水压标准,水质执行标准等。 (三) 水源规划。 简述水源供需平衡方案及各水源地建设规模,水源供水保证率等,根据水量平衡方案和各类水源类型提出水源配置原则,提出水源地保护围及重点保护措施。 (四) 给水工程规划。

江南营江南深度研学之旅1

江南营-江南深度研学之旅(1)

————————————————————————————————作者:————————————————————————————————日期:

诗梦江南,入画寻踪 ——长清区实验小学江南深度研学实践 之旅 【课程简介】 一道水,一架桥,一支橹声,隽秀婉约的杭州绍兴聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南,同时感受一场从远古传说,到春秋的吴越文化,到南北朝的文人风骨,再到明清以及近代的大儒伟人的历史盛宴。活动中,同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里,穿越历史,陶冶爱国之志,体悟文化魅力;一起走进沈园,欣赏宋代江南私家园林的秀美景观,探寻园林蕴含的文化内涵;一起游历西湖,领略“淡妆浓抹总相宜”的如画美景;一起走进综合性人文科学博物馆浙江博物馆、中国黄酒博物馆,全面了解浙江历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】 时间课程安排课程主题课程链接 第一天上午乘坐高铁前往杭州:车次G63 济南-杭州东 07:23-11:53辅导员接站读万卷书行万里路下午参观钱塘江、六和塔看天下第一潮登镇潮六和塔追寻江畔的历史故事 晚上研学课程指导分组讨论课程,研学收获分享 实践-辅导员指导学生完成课程手 册 第二天上午 游历杭州西湖置身如画美景感受西湖柔情参观苏堤、孤山、曲院风荷 浙江博物馆参观历史展品考察浙江文化感受历史文化的沉淀 下午灵隐寺、飞来峰登山览胜景寺宇悟佛心登山参观庙宇,了解佛教文化 晚上研学课程指导分组讨论课程,研学收获分享实践-辅导员指导学生完成课程手册 第三天上午探访鲁迅故里探寻书中世界亲访三味书屋追寻鲁迅先生的足迹 下午 游览沈园漫步江南园林,探寻文化内涵 人文-体味江南风情/建筑-江南园林建 筑风格 参观黄酒博物馆参观历史文物体悟江南魅力历史-绍兴历史文化 晚上 大善塔 仓桥直街 漫步古城小道欣赏绍兴夜色实践-实地感受,见景抒情 第四天上午书圣故里历史街区历游文人旧地感受文化魅力人文-文人旧所、大家荟萃

中国南方电网有限责任公司35 110KV配电网项目可行性研究内容深度规定

附件: 中国南方电网有限责任公司35~110kV 配电网项目可行性 研究内容深度规定 Q/CSG 中国南方电网有限责任公司企业标准 Q/CSG 115003-2011 ICS 备案号: P 2011–4–20发布2011–4–20实施 中国南方电网有限责任公司发布

目次 前言 (2) 引言 (3) 1适用范围 (4) 2规范性引用文件 (4) 3编制的基本要求 (5) 4内容及深度要求 (5) 4.1工程概述 (5) 4.2电力系统一次部分 (6) 4.3电力系统二次部分 (9) 4.4变电站站址选择 (12) 4.5架空线路路径选择及工程设想 (15) 4.6大跨越工程跨越点及路径选择 (17) 4.7电缆线路路径选择及工程设想 (18) 4.8海底电缆线路路径选择及工程设想 (20) 4.9环境保护 (22) 4.10项目的节能设计分析 (22) 4.11抗灾减灾分析 (23) 4.12资产全生命周期分析 (23) 4.13投资估算及经济评价 (24) 4.14结论及建议 (25) 5附件及附图 (25) 5.1附件 (25) 5.2附图 (25) 附录A(规范性附录)电缆隧道专题报告的内容要求 (27) 附录B(规范性附录)35~110KV配电网项目可研阶段主要结论及指标表 (29)

前言 根据中国南方电网有限责任公司(以下简称“公司”)一体化管理工作推进的要求,公司组织五省(区)电网公司、有代表性的地市(州)供电局及设计单位规划计划专业技术人员起草本内容深度规定。本规定的编写结合了各省(区)、地市(州)的实际情况,经过征求意见和三次会议集中讨论而形成。 本规定主要起草单位:公司计划发展部、广东电网公司、广西电网公司、云南电网公司、贵州电网公司、海南电网公司、广州供电局、佛山供电局、南宁供电局、昆明供电局、贵阳供电局、凯里供电局、台江供电局、海口供电局。 本规定主要起草人:陈旭、邱朝明、戴志伟、曹华珍、张宁、李云芬、张群安、刘长春、罗竹平、陆冰雁、刘东升、郑星炯、刘先虎、廖小文、施坚、雷霖、陈守吉、吴振东、柯景发。 本规定由公司计划发展部提出、归口并解释。 本规定自2011年4月20日起执行。

控制性详细规划图纸成果及深度要求

控制性详细规划图纸成果及深度要求 (一)规划用地位置图(区位图)(比例不限)标明规划用地在城市中的地理位置,与周边主要功能区的关系,以及规划用地周边重要的道路交通设施、线路及地区可达性状况。(二)规划用地现状图(1:2000)标明土地利用现状、建筑物状况、人口分布状况、巩固屋舍实现转、市政公用设施现状。 1.土地利用现状包括标明规划区域内各类现状用地的范围界限、权属、性质等,用地分至小类。 2.人口现状指标明规划区域内各行政辖区边界人口数量、密度、分布及构成情况等。 3.建筑物现状包括标明规划区域内各类现状建筑的分布、性质、质量、高度等。 4.公共服务设施、市政用地设施现状标明规划区内及对规划区域有重大影响的周边地区现有公共服务设施(包括行政办公、商业金融、科学教育、体育卫生、文化娱乐等建筑)类型、位置、登记、规模等,道路交通网络、给水电力等市政工程设施、管线的分布情况等。(三)土地使用规划图规划各类用地的界限,规划用地的分类和性质、道路网络布局,公共设施位置;须在现状地形图上标明各类用地的性质、界线和地块编号,道路用地的规划布局结构,表明市政设施、公用设施的位置、登记、规模,以及主要规划控制指标。(四)道路交通及竖向规划图确定道路走乡、线性、横断面、各支路交叉口坐标、标高、停车场和其他交通设施为之机用地界线,各地块室外地坪规划标高;1.道路交通规划图在现状地形图上,标明规划区内道路系统与区外道路系统的衔接关系,确定区内各级道路红线宽度、道路线形、走向,标明道路控制点坐标和标高、坡度、

缘石半径、曲线半径,重要交叉口渠化设计;轨道交通、铁路走向和控制范围;道路交通设施(包括社会停车场、公共交通及轨道交通站场等)的位置、规模与用地范围。2.竖向规划图在现状地形图上标明规划区域内各级道路为何地块的排水方向,各级道路交叉点、转折点的标高、坡度、坡长,标明各地块规划控制标高。(五)公共服务设施规划图(1:2000)标明公共服务设施位置、类别、等级、规模、分布、服务半径,以及相应建设要求。(六)工程管线规划图(1:2000)各类工程管网平面布置、管径、控制点坐标和标高,具体分为给排水、电力电讯、热力燃气、管线综合等。必要时,可分别会址。 1.给水规划图标明规划区供水来源,水厂、加压泵站等供水设施的容量、平面的位置及供水标高,供水管线走向和管径。 2.排水规划图标明规划区雨水泵站的规模和平面为止,雨水管渠的走向、管径及控制标高和出水口位置;表明污水处理厂、污水泵站的规模和平面位置,污水管线的走向、管径、控制标高和出水口的位置。 3.电力规划图标明规划区电源来源,各级变电站、变电所、开闭所平面位置和容量规模,高压线走廊平面位置和控制高度。 4.电信规划图标明规划区内电信来源,电信局所的平面位置和容量,电信管道走向、管孔数,确定微波通道的走向、宽度和起始点限高要求。 5.燃气规划图标明规划区气源来源,储配气站的平面位置、容量规模,燃气管道等级、走向、管径。6.供热规划图标明规划区热源来源,供热及转换设施的平面布置,规模容量,供热管网等级、走向、管径。(七)环卫、环保规划图标明各种卫生设施的位置、服务半径、用地、防护

研学

第一单元 课题人与自我?我自信,会成功 学习目标正确认识自我,能够说出自己的优点和不足;增强自我调控、承受挫折、适应环境的能力;了解树立自信心的方法,培养健全的人格和良好的心理素质;提高心理健康水平,增强自我教育能力,形成健康、自信的人生观。参考主题(1)我自信,会成功;(2)克服考试焦虑;(3)消除孤独感。 实践方式心理测试;收集资料;手工制作。 方法引导发表意见的技巧;如何对调查结果进行统计与分析。 学科整合与心理健康教育、品德与社会、语文等学科整合。关注心理健康,形成健康的生活态度;善于发现其他同学身上的优点并虚心学习;学习名人名言,领悟其深刻含义,并激励自己;进行小制作设计。 课时安排5课时 教学流程 第一课时 研究准备 我们一天天地长大,从妈妈怀里的婴儿,长成了少年。想想自己在成长过程中有哪些烦恼?你是怎么解决的? 同学们根据自己的兴趣自主确定设计研究方案,其方法一般是: 1、我的烦恼及解决的办法 2、我自信,会成功 3、消除孤独感 以上方案进行研究、讨论、尝试初步建立印象。 第二课时 我自信,会成功 一、研究实施 自信对我们走向成功非常重要。今天,就我们一起通过探究活动来寻找自信,增强自信! 二、方法与引导: 发表意见的技巧 1、态度诚恳、谦逊。多采用“我个人认为”、“我目前的想法是”等表达方式; 2、不能只发表否定性意见,对好的方面要充分肯定; 3、对事不对人,只针对事情发表意见; 4、通过举例等方式,引导他人发现存在的问题; 5、避免个人垄断话题,邀请不善于发表意见的组员参与讨论。 三、“我自信,会成功”研究方案 主题名称研究时间 研究目的1、正确认识自己,发现自己的优点与不足 2、

2020考研:军事法学专业介绍及就业方向

2020考研:军事法学专业介绍及就业方向 军事法学专业介绍 军事法学是法学下设的二级学科之一,它是研究军事法律现象及其发展规律的学科。作为新兴的军事学与法学交叉学科,军事法学对于促进依法治军,加强国防法制建设具有极其重要的意义,军事法学是以军事法律现象及其发展规律为研究对象、为国防和军事斗争服务、为军事法制建设服务的部门法学。军事法学专业培养目标要求基本掌握军事法学理论,了解我国和世界主要国家的军事法制建设和军事法学研究主要情况,并对其中某些问题有较深入的理论研究;具备独立进行本学科研究的能力;较为熟练地掌握一门外国语,能阅读本专业的外文资料;能够胜任军事法学教学、研究和军事法制工作。 军事法学就业方向 就业前景: 就业范围小。此专业将军事学与法学连接在一起,其科学具有复杂性。军事法学在世界主要国家的法学领域中均具有独立的地位。我国自80年代以来,军事法已经迅速发展为一个独立的部门法,军事法学也形成了基本的学科体系。军事法学不但与法学各学科特别是法学理论、宪法学与行政法学、刑法学、诉讼法学、国际法学有着不可分割的联系,而且与军事学各学科特别是军事历史学和军制学也密切相关。我国的国防建设和军队建设迫切需

要这一学科进一步发展和完善,为依法治国、依法治军培养出更多的军事法学人才。 就业去向: 军事及部队相关领域,律师事务所,出版社,高等院校,科研院所。 职业规划: 通过司法考试取得律师职业资格证书,从事法律相关工作。 军事法学相关职位 法务专员,法学教师,法学信息编辑,股权投资专务,知识产权调查员,律师,律师助理,商标助理,法律风险控制管理专务,员工关系助理,涉外律师,理赔师,工薪律师,驻场签约律师,纪检监察主管专员,法律顾问,涉外商标代理人,合同管理员,司法学科负责人,知识产权顾问,投资银行律师,诉讼律师

相关文档
最新文档