感知器算法

知识点回顾: Simple word2vec
• Predict surrounding words in a window of length c of every word.
知识点回顾: Word2Vec & GloVe
• Word2Vec
– Efficient Estimation of Word Representations in Vector Space. Mikolov et al. (2013)
• 其他语言模型
– 指数语言模型
• 最大熵模型MaxEnt、最大熵马尔科夫模型MEMM、条件随机域 模型CRF（平滑语法、语义的加入）
– 神经概率语言模型
• Bengio2003、Mikolov2013等
深度学习语言模型都有哪些？(粗略)
• 2000年，徐伟，神经网络训练语言模型
– 《Can Artificial Neural Networks Learn Language Models?》 – 用神经网络构建二元语言模型（即 P(wt|wt−1)）的方 法
深度学习语言模型都有哪些？(粗略)
• 2003年，Bengio，三层的神经网络构建语言模型
– 《A Neural Probabilistic Language Model》
深度学习语言模型都有哪些？(粗略)
• 2008，Ronan Collobert 和 Jason Weston
– C&W model – 《Natural Language Processing (Almost) from Scratch》
•Βιβλιοθήκη Baidu词向量降维
– SVD，LSA，LDA
• Based on lexical co-occurrence
– Learning representations
• Predict surrounding words of every word • Eg. word2vec
知识点回顾: input & output vector
• 语言模型：判定一句话是否为自然语言
• 传统的NLP语言模型(以N-gram为例)
– 如何计算一个句子的概率？
• 机器翻译：P(high winds tonite) > P(large winds tonite) • 拼写纠错：P(about fifteen minutes from) > P(about fifteen minuets from) • 语音识别：P(I saw a van) >> P(eyes awe of an) • 音字转换：P(你现在干什么|nixianzaiganshenme) > P(你西安 在干什么|nixianzaiganshenme) • 自动文摘、问答系统、... ...
• 2008，Andriy Mnih 和 Geoffrey Hinton
– 《A scalable hierarchical distributed language model》
• 2010，Mikolov
– RNNLM – 《Recurrent neural network based language model》
• 所以每个词w都有两个向量表示
– input vecter：窗口内的中心向量(center vector) v – output vector：非中心词向量(external vectors) v’
• 例如window size = 1，句子 I like learning
– like为v_like – I、learning为v’_I v’_learning
• 词向量的评价方法 • Softmax分类模型(原PPT乱入) • 词向量的应用场景
目录对比
cs224d Lecture 3 目录
• • • • • Lecture 1 知识点回顾 (Refresher) 词向量梯度下降&随机梯度下降 (GD & SGD) 如何评测词向量 (evaluate) Softmax分类 (softmax classification) 若干习题集 (problem set)
• 词向量表示
– One-hot Representation
• “黑板”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...]
– Distributional Representation
• “黑板”表示为 [0.792, −0.177, −0.107, 0.109, −0.542, ...]
再探深度学习词向量表示
Advanced word vector representations
主讲人：李泽魁
目录
• Lecture 1 知识点回顾 • 神经概率语言模型(Bengio 2003) • Word2vec (Mikolov 2013)
• (CBOW & Skip-gram) * (HS & NEG)
• GloVe
– Glove: Global Vectors for Word Representation. Pennington et al. (2014) – aggregated global word-word co-occurrence statistics from a corpus
深度学习词向量的语言模型(引言)
深度学习词向量的语言模型(引言)
• 传统的NLP语言模型(以N-gram为例)
– 如何计算一个句子的概率？ – 问题形式化定义
• p(S)=p(w1,w2,w3,w4,w5,…,wn) • =p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1) • =p(w1)p(w2|w1)p(w3|w2)...p(wn|wn-1)
• 2012，Huang
本次目录
• • • • • • Lecture 1 知识点回顾 神经概率语言模型(Bengio 2003) Word2vec (Mikolov 2013) • (CBOW & Skip-gram) * (HS & NEG) 词向量的评价方法 Softmax分类模型(原PPT乱入) 词向量的应用场景
知识点回顾：词向量