Novel pseudo-divergence of Gaussian mixture models based speaker clustering method
高尔基英文简介
⾼尔基英⽂简介 玛克西姆·⾼尔基，前苏联作家、诗⼈，评论家，政论家，学者。
下⾯是店铺为你整理的⾼尔基英⽂简介，希望对你有⽤! 玛克西姆·⾼尔基简介 Maxime Golgi, formerly known as Alexei Maximevich Bishkek. Former Soviet writers, poets, critics, political commentators, scholars. Gol is based on the March 16, 1868 was born in the Volga River under the town of Nautilogro a carpenter family. At the age of 4, his father died, and he spent his childhood with his mother in his grandfather's house. At the age of 10, Golgi began to make a living independently. He has been an apprentice, porters, gatekeepers, bread workers, etc., to experience the suffering of the lower people. During this period, he studied hard and began to explore the truth of transforming society. In 1884, he participated in the populist party group, read the works of populist writers and Marx's works, and actively engaged in revolutionary activities. In 1905, Gorky joined the Russian Social Democratic Labor Party. In 1906, Golgi was commissioned by Lenin, from Finland to the United States for revolutionary activities, published in the United States novel "mother". After settling in Capri Island, Italy. In 1913, Golgi returned from Italy, engaged in proletarian cultural organization work, presided over the "Pravda" literary column. After the October Revolution of 1917, there was a contradiction between Gorky and Lenin and the new regime, accompanied by the chaos, destruction, anarchism and various violent incidents of the revolution. In October 1921, due to the disease, also due to differences with the Bolshevik regime, Gorky went abroad to recuperate. In 1928, Gorky returned to the Soviet Union, under the arrangement of Stalin, he made two long-distance travel in Russia after the decision to return home to settle down. In 1934 was elected chairman of the Association. After returning to the Golgi as a flag of the Soviet cultural sector, for the Soviet culture to do a lot of work. But the Soviet Union in the 1930s all the problems that made him and Stalin and the reality of politics has always maintained a certain distance. June 18, 1936, Golgi disease died. 玛克西姆·⾼尔基⼈物经历 Early experience March 28, 1868, Alexei Maximilian Bishopov (Maxime Golgi) was born in the next Nuo Ke Ge Luo De (formerly known as Golgi City) a woodworking family. In 1871, when Golgi was 4 years old his father died, with his mother to live in grandparents home. In 1879, Gorky 11 years old to "human" independent living, had been apprenticeship, porters, bread workers and so on. In the 1880s, Gorky participated in the intellectual learning team of intellectuals in the Kazan Mountains. In 1883, Gorky began to wander life. 1884 living in Kazan, the late nineteen eighties and early 90s roaming all over Russia, a wide range of understanding of the people; In 1889, after being arrested for participation in secret revolutionary organizations, the release was still monitored by the Constitutional Police. Writing the way In 1892, published in the "Caucasus" with Golgi Maxim (meaning the greatest pain) the pseudonym published debut novel "Margar Qudela", in the local press when editing, journalists, from the focus on writing. In 1895, Golgi published a romantic short story "Yi Jigir old woman" and "song of the song", praised the love of freedom, longing for the bright and heroic performance of the strong personality, the desire to fight the passion. In 1898, Golgi's first collection of two sets of "essays and short stories" come out, from the famous Russian and European literary world attracted wide attention at home and abroad. In 1899, Gorky completed the first novel "Foma Golgyev". At the turn of the 19th and 20th centuries, the two novels of "Foma Golgyev" and "Three", through the broader reality picture, focused on revealing the theme of the exploration of young hero life. At the beginning of the twentieth century, Gorky's creation turned to drama, reflecting the social contradictions in the most rapid, direct and concise manner. From 1900 onwards, Gorky participated in and served the work of knowledge publishers, through the publication of "knowledge" series united at that time Russia has a large number of democratic tendencies of the writer. In 1901, on the eve of the first major revolution in Russia, when the revolutionary movement of the masses was soaring, the tsar reactionary government intensified the repression of the people, and it was time for the revolution and the counter-revolution to wrestle. Golgi to participate in the demonstration of Petersburg, personally felt the workers movement, student movement majestic momentum, witnessed the tsarist government crackdown on student movement brutal crimes. He wrote the prose poem "Swallow Sword" (renamed "Swallow") in order to warmly praise the pioneer of the proletarian revolution, expose the tsarist reactionary government, criticize the opportunists and the bourgeois liberals. The revolutionary storm is coming soon, inspiring people to meet the great battle, this is a proletarian revolutionary battle of the text and carol, by Lenin's enthusiasm praise. In 1901, Gorky also wrote the first script "Little Citizen", exposing the contradictions between bourgeois conservatives and liberals, shaping the image of the first revolutionary proletarian (revolutionary worker Neil) in the history of world literature. In 1901, the Goyle was arrested for demonstrations in Petersburg. After being released from prison by the revolutionary party commissioned the establishment of secret printing, for the second time arrested, was exiled. 1902, wrote the script "at the bottom", which is the author through 20 years to observe the tramp life summary, is Gorky drama masterpiece. In 1905, it was the beginning of the second stage of Golgi's thought and creative development (before and after the 1900-1909 revolution). During the fierce revolutionary situation, Gorky joined the revolutionary movement as a soldier, and his house became the armed uprising in 1905 One of the positions. As Golgi actively participated in the revolutionary movement, and Lenin met and joined the Bolshevik Party, the world view of a qualitative leap in the creation and more consciously for the proletarian revolutionary cause, and strive to create new heroes, write higher than life, Better, more beautiful things come. In 1905, during the Russian revolution, Gorky actively engaged in the proletarian revolutionary struggle, joined the Russian Social Democratic Labor Party, and met with Lenin. In the early days of the outbreak of the revolution, he wrote as an eyewitness as a witness to the tsarist government, and called on the people to fight, and actively participated in the publication of the "New Life" and the "Battle Newspaper" of the Social Democratic Labor Party. The insurgents plan funds and weapons. During this period he also published a lot of political theory, which "talk about the small public habits," a profound analysis of small social habits of social roots, psychological characteristics and its harm to the cause of the revolution. In 1906, Golgi secretly left Russia to the United States, where he proclaimed the revolution, raised funds for the party, wrote the political commentary "My Visit", which exposes and criticizes the capitalist system, and features "in the United States", the script "enemies". The script "The Enemy" and the novel "Mother" in the same year marked the creation of a new peak. "Mother" in the history of world literature has epoch-making significance. These two works are the foundation of Russian proletarian literature. In the spring of 1907, he participated in the Fifth Congress of the Russian Democratic Labor Party in London. Since then, he and Lenin established a close connection and deep friendship. 1906 1908 published in the novel novel "confession", by Lenin's serious criticism. At that time, he published some papers and monographs "Russian literature history" and so on, also contains different degrees of "concept compound", "experience organization" and the creation of the wrong view. With the help of Lenin's criticism, he gradually raised his awareness from the advance group. 1901 ~ 1910, has written "small people" "bottom" "enemies" "summer", "the children of the sun" "barbarians" and many other important social and political script, some of which reflect the struggle on thedeath line The life of the poor people, and some expose the spiritual emptiness of the intellectuals and the bourgeois philistine. In the "Little Citizen" a play for the first time described the advanced workers Neil's glorious image. The script was staged, warmly welcomed by the revolutionary people, causing the tsarist government to fear. 1911 - 1913 years, complete the story set "Italian fairy tale". 1911 - 1917, completed the "Russian fairy tale". 1912-1917, completed "Ross Travels". In 1913, he created the first "childhood" of the autobiographical trilogy. In 1913, returned to the motherland, presided over the "Pravda" literary column, engaged in cultural organization and literary activities. In 1916, published autobiographical trilogy of the second "in the world". Recuperate In the summer of 1921, Golgi disease relapsed to seek medical treatment until 1928, basically living in Sorrento, Italy. While he recuperates, he has done a great deal of work to train young writers and unite different styles of writers through letters and meeting visitors to try to resist the "left" and sectarian errors of some groups such as Lap. He also works hard to create and write a memoir "Leo Tolstoy" and close-up "Lenin" to complete the "my university", depicting the writer from the bottom of life to the revolutionary road, the workers looking for the truth, the pursuit of a bright process. In 1922, published "my university". In 1925, Golgi in the disease to complete the novel "Ardamonov husband's career." This description depicts the evolution of a family of three generations from the broad historical context of the Russian serfdom reform to the October Revolution in the mid-19th century, showing the inevitable decline of the bourgeoisie from a psychological and moral point of view. In 1928, after the return of Gorky, twice to travel around the country to visit, witnessed the vigorous development of the socialist construction of the motherland, enthusiasm, wrote a long report of the literature "Soviet travel". elderly life In 1931, Golgi settled in Moscow. In his later years, the script "Yegor Brechoff and others" and "Tosci Gayev and others" demonstrated the decline of capitalism and the victory of socialism; the novel "Klim Samkin The life of the Russian society in the 40 years before the October Revolution, with an individualist intellectuals as the central figure reflects the growth of revolutionary forces; "on the socialist realism" and a series of papers, advocate the socialist realism The In 1934, Gorky presided over the first congress of the Soviet writers, and was elected the first president of the Soviet Writers Association. June 18, 1936 at 2:30, Gorky left the world at the age of 68 years old.。
约恩·福瑟《忧郁症I》中的后现代表征
第44卷 第2期2024年05月Journal of Hebei Minzu Normal University 河北民族师范学院学报Vol.44 No.2May.2024挪威作家约恩·福瑟（Jon Fosse）因其“创新的戏剧和散文，为不可言说之物发声”而荣获2023年度诺贝尔文学奖，被誉为“新易卜生”“21世纪的贝克特”。
虽以戏剧创作享誉当世，但福瑟文学生涯的起点却是小说。
他在1983年以长篇小说《红与黑》（Red ，Black ）出道，在近十年之后才开始创作戏剧。
福瑟的戏剧、小说、诗歌形成了其创作世界的有机整体。
至今，中国出版了两部福瑟的戏剧，其译者邹鲁路认为福瑟的小说成就同样值得关注，“如果略过福瑟在其他文学领域的创作不谈，不可能真正理解福瑟在其他文学创作旅程的整体脉络，并最终达到进入福瑟戏剧世界，以及透彻理解其戏剧作品奥妙的目的。
”[1]90《忧郁症I》（Melancholy I ）是福瑟于1995年出版的长篇小说，它于1996年同时获得马尔瑟姆最佳新挪威语图书奖（Melsomprisen）和萨默尔最佳新挪威语图书奖（Sunnmorsprisen），同年，他出版了续篇《忧郁症II》（Melancholy II ）。
后现代主义是以“解构”为主题的理论与实践，在文学实践中，“解构”表现出“反体裁”的倾向，“在后现代文学中，高雅与通俗、小说与非小说、文学与非文学、虚构与写实都没有确定的界限和标志。
”[2]137这部作品在文类、“叙事”、文本三个方面都表现出明显的后现代表征，不同手法的运用和结合使作品更深刻地探讨了人作为个体的孤独与挣扎。
一、解构文类20世纪以来，受解构主义的冲击，文学创作中的真实与虚构的界限被打破，在此背景下，出现了历史真实与文学虚构并存的文学形式——传记小说（biographical novel / biofiction）。
它结合了传记和小说两种文类，属于小说化的传记或传记性的小说。
论加里·斯奈德诗歌中的处所依附
Ｔｉｌ ：Ｔ ｔ Ｐ ａ ｅ ａｔ ｃ ｍｅ ｔｉ ｒ ｎ ｄ ｒ ８Ｐ ｅ ｔ ｅ ｉ ｅ： ｌ ｃ — ｔ ｈ ｎ Ｇａｙ Ｓ ｙ ｅ ’ ｏ ｍｓ ｌ ａ ｎ
Ａｕｈ ｒ ｈ ｎＪｎ ｔｏ ：Ｃ ｅ ｉｇ
Ａｂ ｔ ａ ｔ Ｇａ ｙＳ ｙ ｅ ｍｏ ｓＡｍｅ ｉ ａ ｅ － ｏ ｔ ｎ ｏ ｒｔ ｓｂ ｔ ａ ｉ ｌ ｆ ｃ ｎ Ｃｈｎ ｓ ｃ ｄ ｍｉ ｓ ｒ ｃ ： ｒ ｎ ｄ ｒｉ ａｆ ｓ ａ ｕ ｒ ｎ ｅ ｏ ｐ ｕ ｍｅ ｕ ｓｌ ｔ ｅ ｅ ｔｏ ｉ ｅ ｅ ａ ａ ｅ ｃ ｃ ｅ ｉ ｉ ｈ ｔｅ ｃｒ ｌ 。 ｒ ｅ ｓｕ ｉｓ ｔ ｎ ｌｔ ｎ ｄ ｉｔｏ ｕ ｔ ｎ ａ ｅ ｂ ｅ ｏ ｕ ｅ ｎ ｈ ｓ ｐ ｅ ｒ ｎ Ｃ ｉａ Ｐ ａ ｅ ｔ ｅ ｒ ｓ ｉ ｅ Ｖｅｙ ｆｗ ｔｄ ｅ ， ｒ ｓ ｉ ｓ ａ ｎ ｒ ｄ ｃｉ ８ｈ ｖ ｅ ｎ ｆｃ ｓ ｄ ｏ ｉ ｏ ｔｙ ｉ ｈ ｎ ． ｌ ｃ ｈ ｏ ｙ ｉ ｃ ａ ａｏ ｎ ｏ ｔ ｅ ｌ ｔｓ ｅ ｃ ｔ ｉ ｒ ｓ ａ ｃ ｔ ｏ ． ｌ ｃ ｗａ ｅ ｅ ｓｉ ｎ ｄ ｒ Ｓｗｏ ｋ ｃ ｎ ｅ ｐ Ｓ ｈ ｌｒ ｏ ｎ ｙ ｕ ｅ ｈ ａｅ ｔｅ ｏ ｒｉ ｓ ｅ ｒ ｈ ｍｅ ｈ ｄ Ｐ ａ ｅ ａ ｒ ｎ ｓ Ｓ ｙ ｅ ’ ｉ ｃ ｍ ｅ ｎ ｒ ｓ ｉ ｒ ｈ ａ ｄ ｄ ｅ ． ｃ ｏ ａ ｓｎ ｔｏ ｌ ｓ ｓｉ
静
究者 不 仅 将 他 的作 品作 为 主要 的 阐释 范例 ， 而且 还 从 其 处 所 观 中汲取 了重 要 的思 想 。 文 简 要论 述 了处 所 理 本
论 的基 本 概 念 和 处 所 依 真 实 处 所 、 忆处 所 和 理 想 处 所 几 个 层 面 理 在 依 记
罗素的摹状词理论与专名涵义
推论并非有效式 ， 其结论显 然是假的。第 三类难题 是关 于
排 中律的问题。根据排 中律 ， Ａ是 Ｂ” “ 是真 的或者 “ Ａ不 是
Ｂ 是真的 ， ” 二者 必居 其一 。这 样 ， 或者 “ 在的法 国 国王 是 现 个秃子” 或者“ ， 现在 的法 国国王不是个秃 子” 有一真。在 必
２１ ０ １年 ７月
第３ ０卷 第 ７期
黑龙江教育 学院学报
Ｊ ｕ ａ ｏ Ｈ ｉ ｎ ｊ ｎ ｏｌ ｅｏ ｄ ｃ ｔ ｎ ｏ ｒ ｌ ｆ ｅ ｏ ｇ ａ ｇＣ ｌ ｇ ｆ ｕ ａｉ ｎ ｌ ｉ ｅ Ｅ ｏ
Ｊｌ ２ ｌ ｌ． ０ １ １
Ｖ０． ０ Ｎｏ． １３ ７
２ 世 纪初西 方哲学 研 究发 生 了重 大变 革 ， Ｏ 哲学 家们 都
利》 的作者 ； ３ 乔治 四世要 知道 司各特 是否 是司各 特。这 （）
一
有 了一种共 同的倾 向 ， 即认为一切哲 学问题都可 以归 于语言 问题 ， 哲学 中很多问题都 是产生 于对 语 言的误 用 ， 因此语 言
“
一
、
罗素摹状词理 论的提 出
１０ ， ９５年 罗素在《 学报 发表 了论文《 心》 论指称 》 第 一次 ， 系统地提出了他 的“ 摹状 词理 论 ” 而 该理 论 的提 出源 于其 ，
对《 论指称》 文 中所 列举 的三 个 著名 的难 题 的思考 ， 一 一 第
个如此这般 的东西 ” ａｓ ｎ Ｏ ， “ 个人 ” “ 只 （ ｏａｄＳ ） 如 一 、一
状词理论研究 ， 罗素所 作的摹 状词 逻辑 分析 是十分 精辟 的 ， 在罗素的摹状词理论 中， 数理逻辑 分析方法被运用 到哲学研 究 中， 使得一些长期 困扰哲学 家们 的难题 得 到 了解 决 ， 而 从
【2021.03.07】看论文神器知云文献翻译、百度翻译API申请、机器学习术语库
【2021.03.07】看论⽂神器知云⽂献翻译、百度翻译API申请、机器学习术语库最近在看论⽂，因为论⽂都是全英⽂的，所以需要论⽂查看的软件，在macOS上找到⼀款很好⽤的软件叫做知云⽂献翻译知云⽂献翻译界⾯长这样，可以长段翻译，总之很不错百度翻译API申请使⽤⾃⼰的api有两个好处：⼀、更加稳定⼆、可以⾃定义词库，我看的是医疗和机器学习相关的英⽂⽂献，可以⾃定义api申请在上⽅控制台、根据流程申请后可以在这⾥看到⾃⼰的ID和密钥填⼊就可以了⾃定义术语库我看的是机器学习的⽂献，因此在术语库⾥添加，导⼊⽂件（我会把⽂本放在后⾯导⼊后完成，有部分词语不翻译，⽐如MNIST这样的专有词语，就会报错，忽略掉就可以了开启术语库就⾏了机器学习术语库Supervised Learning|||监督学习Unsupervised Learning|||⽆监督学习Semi-supervised Learning|||半监督学习Reinforcement Learning|||强化学习Active Learning|||主动学习Online Learning|||在线学习Transfer Learning|||迁移学习Automated Machine Learning (AutoML)|||⾃动机器学习Representation Learning|||表⽰学习Minkowski distance|||闵可夫斯基距离Gradient Descent|||梯度下降Stochastic Gradient Descent|||随机梯度下降Over-fitting|||过拟合Regularization|||正则化Cross Validation|||交叉验证Perceptron|||感知机Logistic Regression|||逻辑回归Maximum Likelihood Estimation|||最⼤似然估计Newton’s method|||⽜顿法K-Nearest Neighbor|||K近邻法Mahanalobis Distance|||马⽒距离Decision Tree|||决策树Naive Bayes Classifier|||朴素贝叶斯分类器Generalization Error|||泛化误差PAC Learning|||概率近似正确学习Empirical Risk Minimization|||经验风险最⼩化Growth Function|||成长函数VC-dimension|||VC维Structural Risk Minimization|||结构风险最⼩化Eigendecomposition|||特征分解Singular Value Decomposition|||奇异值分解Moore-Penrose Pseudoinverse|||摩尔－彭若斯⼴义逆Marginal Probability|||边缘概率Conditional Probability|||条件概率Expectation|||期望Variance|||⽅差Covariance|||协⽅差Critical points|||临界点Support Vector Machine|||⽀持向量机Decision Boundary|||决策边界Convex Set|||凸集Lagrange Duality|||拉格朗⽇对偶性KKT Conditions|||KKT条件Coordinate ascent|||坐标下降法Sequential Minimal Optimization (SMO)|||序列最⼩化优化Ensemble Learning|||集成学习Bootstrap Aggregating (Bagging)|||装袋算法Random Forests|||随机森林Boosting|||提升⽅法Stacking|||堆叠⽅法Decision Tree|||决策树Classification Tree|||分类树Adaptive Boosting (AdaBoost)|||⾃适应提升Decision Stump|||决策树桩Meta Learning|||元学习Gradient Descent|||梯度下降Deep Feedforward Network (DFN)|||深度前向⽹络Backpropagation|||反向传播Activation Function|||激活函数Multi-layer Perceptron (MLP)|||多层感知机Perceptron|||感知机Mean-Squared Error (MSE)|||均⽅误差Chain Rule|||链式法则Logistic Function|||逻辑函数Hyperbolic Tangent|||双曲正切函数Rectified Linear Units (ReLU)|||整流线性单元Residual Neural Networks (ResNet)|||残差神经⽹络Regularization|||正则化Overfitting|||过拟合Data(set) Augmentation|||数据增强Parameter Sharing|||参数共享Ensemble Learning|||集成学习Dropout|||L2 Regularization|||L2正则化Taylor Series Approximation|||泰勒级数近似Taylor Expansion|||泰勒展开Bayesian Prior|||贝叶斯先验Bayesian Inference|||贝叶斯推理Gaussian Prior|||⾼斯先验Maximum-a-Posteriori (MAP)|||最⼤后验Linear Regression|||线性回归L1 Regularization|||L1正则化Constrained Optimization|||约束优化Lagrange Function|||拉格朗⽇函数Denoising Autoencoder|||降噪⾃动编码器Label Smoothing|||标签平滑Eigen Decomposition|||特征分解Convolutional Neural Networks (CNNs)|||卷积神经⽹络Semi-Supervised Learning|||半监督学习Generative Model|||⽣成模型Discriminative Model|||判别模型Multi-Task Learning|||多任务学习Bootstrap Aggregating (Bagging)|||装袋算法Multivariate Normal Distribution|||多元正态分布Sparse Parametrization|||稀疏参数化Sparse Representation|||稀疏表⽰Student-t Prior|||学⽣T先验KL Divergence|||KL散度Orthogonal Matching Pursuit (OMP)|||正交匹配追踪算法Adversarial Training|||对抗训练Matrix Factorization (MF)|||矩阵分解Root-Mean-Square Error (RMSE)|||均⽅根误差Collaborative Filtering (CF)|||协同过滤Nonnegative Matrix Factorization (NMF)|||⾮负矩阵分解Singular Value Decomposition (SVD)|||奇异值分解Latent Sematic Analysis (LSA)|||潜在语义分析Bayesian Probabilistic Matrix Factorization (BPMF)|||贝叶斯概率矩阵分解Wishart Prior|||Wishart先验Sparse Coding|||稀疏编码Factorization Machines (FM)|||分解机second-order method|||⼆阶⽅法cost function|||代价函数training set|||训练集objective function|||⽬标函数expectation|||期望data generating distribution|||数据⽣成分布empirical risk minimization|||经验风险最⼩化generalization error|||泛化误差empirical risk|||经验风险overfitting|||过拟合feasible|||可⾏loss function|||损失函数derivative|||导数gradient descent|||梯度下降surrogate loss function|||代理损失函数early stopping|||提前终⽌Hessian matrix|||⿊塞矩阵second derivative|||⼆阶导数Taylor series|||泰勒级数Ill-conditioning|||病态的critical point|||临界点local minimum|||局部极⼩点local maximum|||局部极⼤点saddle point|||鞍点local minima|||局部极⼩值global minimum|||全局最⼩点convex function|||凸函数weight space symmetry|||权重空间对称性Newton’s method|||⽜顿法activation function|||激活函数fully-connected networks|||全连接⽹络Resnet|||残差神经⽹络gradient clipping|||梯度截断recurrent neural network|||循环神经⽹络long-term dependency|||长期依赖eigen-decomposition|||特征值分解feedforward network|||前馈⽹络vanishing and exploding gradient problem|||梯度消失与爆炸问题contrastive divergence|||对⽐散度validation set|||验证集stochastic gradient descent|||随机梯度下降learning rate|||学习速率momentum|||动量gradient descent|||梯度下降poor conditioning|||病态条件nesterov momentum|||Nesterov 动量partial derivative|||偏导数moving average|||移动平均quadratic function|||⼆次函数positive definite|||正定quasi-newton method|||拟⽜顿法conjugate gradient|||共轭梯度steepest descent|||最速下降reparametrization|||重参数化standard deviation|||标准差coordinate descent|||坐标下降skip connection|||跳跃连接convolutional neural network|||卷积神经⽹络convolution|||卷积pooling|||池化feedforward neural network|||前馈神经⽹络maximum likelihood|||最⼤似然back propagation|||反向传播artificial neural network|||⼈⼯神经⽹络deep feedforward network|||深度前馈⽹络hyperparameter|||超参数sparse connectivity|||稀疏连接parameter sharing|||参数共享receptive field|||接受域chain rule|||链式法则tiled convolution|||平铺卷积object detection|||⽬标检测error rate|||错误率activation function|||激活函数overfitting|||过拟合attention mechanism|||注意⼒机制transfer learning|||迁移学习autoencoder|||⾃编码器unsupervised learning|||⽆监督学习back propagation|||反向传播pretraining|||预训练dimensionality reduction|||降维curse of dimensionality|||维数灾难feedforward neural network|||前馈神经⽹络encoder|||编码器decoder|||解码器cross-entropy|||交叉熵tied weights|||绑定的权重PCA|||PCAprincipal component analysis|||主成分分析singular value decomposition|||奇异值分解SVD|||SVDsingular value|||奇异值reconstruction error|||重构误差covariance matrix|||协⽅差矩阵Kullback-Leibler (KL) divergence|||KL散度denoising autoencoder|||去噪⾃编码器sparse autoencoder|||稀疏⾃编码器contractive autoencoder|||收缩⾃编码器conjugate gradient|||共轭梯度fine-tune|||精调local optima|||局部最优posterior distribution|||后验分布gaussian distribution|||⾼斯分布reparametrization|||重参数化recurrent neural network|||循环神经⽹络artificial neural network|||⼈⼯神经⽹络feedforward neural network|||前馈神经⽹络sentiment analysis|||情感分析machine translation|||机器翻译pos tagging|||词性标注teacher forcing|||导师驱动过程back-propagation through time|||通过时间反向传播directed graphical model|||有向图模型speech recognition|||语⾳识别question answering|||问答系统attention mechanism|||注意⼒机制vanishing and exploding gradient problem|||梯度消失与爆炸问题jacobi matrix|||jacobi矩阵long-term dependency|||长期依赖clip gradient|||梯度截断long short-term memory|||长短期记忆gated recurrent unit|||门控循环单元hadamard product|||Hadamard乘积back propagation|||反向传播attention mechanism|||注意⼒机制feedforward network|||前馈⽹络named entity recognition|||命名实体识别Representation Learning|||表征学习Distributed Representation|||分布式表征Multi-task Learning|||多任务学习Multi-Modal Learning|||多模态学习Semi-supervised Learning|||半监督学习NLP|||⾃然语⾔处理Neural Language Model|||神经语⾔模型Neural Probabilistic Language Model|||神经概率语⾔模型RNN|||循环神经⽹络Neural Tensor Network|||神经张量⽹络Graph Neural Network|||图神经⽹络Graph Covolutional Network (GCN)|||图卷积⽹络Graph Attention Network|||图注意⼒⽹络Self-attention|||⾃注意⼒机制Feature Learning|||表征学习Feature Engineering|||特征⼯程One-hot Representation|||独热编码Speech Recognition|||语⾳识别DBM|||深度玻尔兹曼机Zero-shot Learning|||零次学习Autoencoder|||⾃编码器Generative Adversarial Network（GAN）|||⽣成对抗⽹络Approximate Inference|||近似推断Bag-of-Words Model|||词袋模型Forward Propagation|||前向传播Huffman Binary Tree|||霍夫曼⼆叉树NNLM|||神经⽹络语⾔模型N-gram|||N元语法Skip-gram Model|||跳元模型Negative Sampling|||负采样CBOW|||连续词袋模型Knowledge Graph|||知识图谱Relation Extraction|||关系抽取Node Embedding|||节点嵌⼊Graph Neural Network|||图神经⽹络Node Classification|||节点分类Link Prediction|||链路预测Community Detection|||社区发现Isomorphism|||同构Random Walk|||随机漫步Spectral Clustering|||谱聚类Asynchronous Stochastic Gradient Algorithm|||异步随机梯度算法Negative Sampling|||负采样Network Embedding|||⽹络嵌⼊Graph Theory|||图论multiset|||多重集Perron-Frobenius Theorem|||佩龙—弗罗贝尼乌斯定理Stationary Distribution|||稳态分布Matrix Factorization|||矩阵分解Sparsification|||稀疏化Singular Value Decomposition|||奇异值分解Frobenius Norm|||F-范数Heterogeneous Network|||异构⽹络Graph Convolutional Network （GCN）|||图卷积⽹络CNN|||卷积神经⽹络Semi-Supervised Classification|||半监督分类Chebyshev polynomial|||切⽐雪夫多项式Gradient Exploding|||梯度爆炸Gradient Vanishing|||梯度消失Batch Normalization|||批标准化Neighborhood Aggregation|||邻域聚合LSTM|||长短期记忆⽹络Graph Attention Network|||图注意⼒⽹络Self-attention|||⾃注意⼒机制Rescaling|||再缩放Attention Mechanism|||注意⼒机制Jensen-Shannon Divergence|||JS散度Cognitive Graph|||认知图谱Generative Adversarial Network(GAN)|||⽣成对抗⽹络Generative Model|||⽣成模型Discriminative Model|||判别模型Gaussian Mixture Model|||⾼斯混合模型Variational Auto-Encoder（VAE）|||变分编码器Markov Chain|||马尔可夫链Boltzmann Machine|||玻尔兹曼机Kullback–Leibler divergence|||KL散度Vanishing Gradient|||梯度消失Surrogate Loss|||替代损失Mode Collapse|||模式崩溃Earth-Mover/Wasserstein-1 Distance|||搬⼟距离/EMD Lipschitz Continuity|||利普希茨连续Feedforward Network|||前馈⽹络Minimax Game|||极⼩极⼤博弈Adversarial Learning|||对抗学习Outlier|||异常值/离群值Rectified Linear Unit|||线性修正单元Logistic Regression|||逻辑回归Softmax Regression|||Softmax回归SVM|||⽀持向量机Decision Tree|||决策树Nearest Neighbors|||最近邻White-box|||⽩盒（测试 etc. ）Lagrange Multiplier|||拉格朗⽇乘⼦Black-box|||⿊盒（测试 etc. ）Robustness|||鲁棒性/稳健性Decision Boundary|||决策边界Non-differentiability|||不可微Intra-technique Transferability|||相同技术迁移能⼒Cross-technique Transferability|||不同技术迁移能⼒Data Augmentation|||数据增强Adaboost|||recommender system|||推荐系统Probability matching|||概率匹配minimax regret|||face detection|||⼈脸检测i.i.d.|||独⽴同分布Minimax|||极⼤极⼩linear model|||线性模型Thompson Sampling|||汤普森抽样eigenvalues|||特征值optimization problem|||优化问题greedy algorithm|||贪⼼算法Dynamic Programming|||动态规划lookup table|||查找表Bellman equation|||贝尔曼⽅程discount factor|||折现系数Reinforcement Learning|||强化学习gradient theorem|||梯度定理stochastic gradient descent|||随机梯度下降法Monte Carlo|||蒙特卡罗⽅法function approximation|||函数逼近Markov Decision Process|||马尔可夫决策过程Bootstrapping|||引导Shortest Path Problem|||最短路径问题expected return|||预期回报Q-Learning|||Q学习temporal-difference learning|||时间差分学习AlphaZero|||Backgammon|||西洋双陆棋finite set|||有限集Markov property|||马尔可夫性质sample complexity|||样本复杂性Cartesian product|||笛卡⼉积Kevin Leyton-Brown|||SVM|||⽀持向量机MNIST|||ImageNet|||Ensemble learning|||集成学习Neural networks|||神经⽹络Neuroevolution|||神经演化object recognition|||⽬标识别Multi-task learning|||多任务学习Treebank|||树图资料库covariance|||协⽅差Hamiltonian Monte Carlo|||哈密顿蒙特卡罗Inductive bias|||归纳偏置bilevel optimization|||双层规划genetic algorithms|||遗传算法Bayesian linear regression|||贝叶斯线性回归ANOVA|||⽅差分析Extrapolation|||外推法activation function|||激活函数CIFAR-10|||Gaussian Process|||⾼斯过程k-nearest neighbors|||K最近邻Neural Turing machine|||神经图灵机MCMC|||马尔可夫链蒙特卡罗Collaborative filtering|||协同过滤AlphaGo|||random forests|||随机森林multivariate Gaussian|||多元⾼斯Bayesian Optimization|||贝叶斯优化meta-learning|||元学习iterative algorithm|||迭代算法Viterbi algorithm|||维特⽐算法Gibbs distribution|||吉布斯分布Discriminative model|||判别模型Maximum Entropy Markov Model|||最⼤熵马尔可夫模型Information Extraction|||信息提取clique|||⼩圈⼦conditional random field|||条件随机场CRF|||条件随机场triad|||三元关系Naïve Bayes|||朴素贝叶斯social network|||社交⽹络Bayesian network|||贝叶斯⽹络SVM|||⽀持向量机Joint probability distribution|||联合概率分布Conditional independence|||条件独⽴性sequence analysis|||序列分析Perceptron|||感知器Markov Blanket|||马尔科夫毯Hidden Markov Model|||隐马尔可夫模型finite-state|||有限状态Shallow parsing|||浅层分析Active learning|||主动学习Speech recognition|||语⾳识别convex|||凸transition matrix|||转移矩阵factor graph|||因⼦图forward-backward algorithm|||前向后向算法parsing|||语法分析structural holes|||结构洞graphical model|||图模型Markov Random Field|||马尔可夫随机场Social balance theory|||社会平衡理论Generative model|||⽣成模型probalistic topic model|||概率语义模型TFIDF|||词频-⽂本逆向频率LSI|||潜在语义索引Bayesian network|||贝叶斯⽹络模型Markov random field|||马尔科夫随机场restricted boltzmann machine|||限制玻尔兹曼机LDA|||隐式狄利克雷分配模型PLSI|||概率潜在语义索引模型EM algorithm|||最⼤期望算法Gibbs sampling|||吉布斯采样法MAP (Maximum A Posteriori)|||最⼤后验概率算法Markov Chain Monte Carlo|||马尔科夫链式蒙特卡洛算法Monte Carlo Sampling|||蒙特卡洛采样法Univariate|||单变量Hoeffding Bound|||Hoeffding界Chernoff Bound|||Chernoff界Importance Sampling|||加权采样法invariant distribution|||不动点分布Metropolis-Hastings algorithm|||Metropolis-Hastings算法Probablistic Inference|||概率推断Variational Inference|||变量式推断HMM|||隐式马尔科夫模型mean field|||平均场理论mixture model|||混合模型convex duality|||凸对偶belief propagation|||置信传播算法non-parametric model|||⾮参模型Gaussian process|||正态过程multivariate Gaussian distribution|||多元正态分布Dirichlet process|||狄利克雷过程stick breaking process|||断棒过程Chinese restaurant process|||中餐馆过程Blackwell-MacQueen Urn Scheme|||Blackwell-MacQueen桶法De Finetti's theorem|||de Finetti定理collapsed Gibbs sampling|||下陷吉布斯采样法Hierarchical Dirichlet process|||阶梯式狄利克雷过程Indian Buffet process|||印度餐馆过程。
基于自然梯度的噪声自适应变分贝叶斯滤波算法
基于自然梯度的噪声自适应变分贝叶斯滤波算法胡玉梅 1, 2, 3 潘 泉 1, 2 胡振涛 4 郭 振 1, 2, 5摘要 考虑到运动目标跟踪系统机动、隐身等人为对抗特征以及非视距、干扰、遮挡等环境因素, 其系统建模、估计与辨识过程中越来越无法回避非线性、非高斯以及参数未知等复杂系统特征的影响. 针对过程噪声先验信息不准确以及量测噪声非高斯环境下运动目标的非线性状态估计问题, 提出一种基于自然梯度的噪声自适应变分贝叶斯(Variational Bayes, VB)滤波算法. 首先, 利用指数族分布具有统一表达形式的优势, 构建参数化逆威沙特(Inverse-Wishart, IW)分布作为状态一步预测误差协方差的共轭先验分布, 同时选取学生t分布重构因量测随机缺失导致的具有非高斯特点的似然函数; 其次, 在变分贝叶斯优化框架下采用平均场理论将状态变量联合后验分布近似分解为独立的变分分布, 在此基础上, 结合坐标上升方法更新各变量的变分分布参数; 进而, 结合 Fisher 信息矩阵推导置信下界最大化关于状态估计及其估计误差协方差的自然梯度, 使非线性状态后验分布的近似分布沿梯度下降, 以实现对状态后验概率密度函数(Probability density function, PDF)的“紧密”逼近. 理论分析和仿真实验表明: 相对传统的非线性滤波方法, 本文算法对噪声不确定问题具有较好的自适应能力, 并且能够获得较高的状态估计精度.关键词 非线性滤波, 自适应滤波, 变分贝叶斯推断, 自然梯度, Fisher 信息矩阵引用格式 胡玉梅, 潘泉, 胡振涛, 郭振. 基于自然梯度的噪声自适应变分贝叶斯滤波算法. 自动化学报, 2023, 49(10): 2094−2108DOI 10.16383/j.aas.c210964A Novel Noise Adaptive Variational Bayesian Filter Using Natural GradientHU Yu-Mei1, 2, 3 PAN Quan1, 2 HU Zhen-Tao4 GUO Zhen1, 2, 5Abstract Considering the increasing complexity and changeability of characteristics such as maneuvering and stealth in moving target tracking system and the influence of adverse factors such as non-line-of-sight, interference and occlusion in measurement environment. State estimation is likely to be confronted with complex system charac-teristics such as nonlinearity, non-Gaussian noise and unknown parameters. Aiming at nonlinear adaptive state es-timation of moving target in a system with unknown process noise and non-Gaussian measurement noise, a novel noise adaptive variational Bayesian (VB) filter using natural gradient is proposed. Firstly, a parameterized inverse-Wishart (IW) distribution and a student＇s t distribution are constructed as the conjugate prior distribution of pre-dicted state error covariance and measurement likelihood respectively. Then, in the framework of variational Bayesian optimization, the joint a posteriori distribution of estimation variables is approximately decomposed into independent variational distributions by using mean-field theory. On this basis, the variational distribution para-meters of each variable are updated by combining coordinate ascend method and the characteristics of exponential distributions. Furthermore, under the condition of maximizing evidence lower bound, the natural gradients with re-spect to state estimation and its error covariance are derived by combining with Fisher information matrix. So that the variational distribution of nonlinear state gradually approaches the posteriori probability density function (PDF) of state along the natural gradient direction. Finally, simulation results show that the proposed algorithm has better adaptive ability to the problem of noise uncertainty and can obtain higher estimation accuracy com-pared to traditional algorithms.Key words Nonlinear filtering, adaptive filtering, variational Bayesian inference, natural gradient, Fisher informa-tion matrixCitation Hu Yu-Mei, Pan Quan, Hu Zhen-Tao, Guo Zhen. A novel noise adaptive variational Bayesian filter using natural gradient. Acta Automatica Sinica, 2023, 49(10): 2094−2108收稿日期 2021-10-13 录用日期 2022-03-01Manuscript received October 13, 2021; accepted March 1, 2022国家自然科学基金(61790552, 61976080), 西北工业大学博士论文创新基金(CX201915)资助Supported by National Natural Science Foundation of China (61790552, 61976080) and Innovation Foundation for Doctor Dis-sertation of Northwestern Polytechnical University (CX201915)本文责任编委 段海滨Recommended by Associate Editor DUAN Hai-Bin1. 西北工业大学自动化学院 西安 7100722. 信息融合技术教育部重点实验室 西安 7100723. 中国航空工业集团公司西安航空计算技术研究所 西安 710065 4. 河南大学人工智能学院 郑州450046 5. 湖北航天技术研究院总体设计所 武汉 4300401. School of Automation, Northwestern Polytechnical Uni-versity, Xi＇an 7100722. Key Laboratory of Information Fu-sion Technology, Ministry of Education, Xi＇an 7100723. Xi＇an Aeronautical Computing Technique Research Institute, Aviation Industry Corporation of China, Ltd., Xi＇an 7100654. School of Artificial Intelligence, Henan University, Zhengzhou 4500465. Sy-stem Design Institute, Hubei Aerospace Technology Academy, Wuhan 430040第 49 卷 第 10 期自 动 化 学 报Vol. 49, No. 10 2023 年 10 月ACTA AUTOMATICA SINICA October, 2023非线性滤波器设计与实现因其普适性及重要性一直是国内外学者研究的热点问题, 近年来非线性状态估计理论已成功应用于陆、海、空、天中运动目标的预警与防御, 智能交通的精确导航与制导, 无人机定位与遥感监测、工业过程监控与故障诊断等众多领域[1−3]. 考虑到运动目标跟踪系统机动、隐身等复杂多变的人为对抗特征以及非视距、干扰、遮挡等环境因素无法避免, 其系统建模、估计与辨识过程中越来越无法回避非线性、非高斯以及参数未知等复杂系统特征的影响[4]. 在对复杂环境下运动目标系统噪声先验信息进行建模时, 建模误差存在于状态演化模型中, 并通常假设其满足一定的参数化统计特性[5]. 然而, 在实际工程中, 由于先验建模信息的不足导致难以对此类参数进行准确赋值. 例如, 在现代目标跟踪系统中出现的欺骗、干扰、杂波、未知分布特性的量测噪声和系统噪声等情形, 尤其在非合作运动目标强机动场景中, 因难以对其运动过程进行精细化建模, 常造成目标跟踪航迹间断甚至无法正常起始的现象.针对系统噪声未知问题, 其解决思路通常选取逆伽马分布和逆威沙特(Inverse-Wishart, IW) 分布等具有统一参数表达形式的指数族分布作为共轭先验分布. Särkkä 等[6] 在变分贝叶斯 (Variational Bayes, VB) 推断框架下利用指数族分布构建共轭先验分布近似未知量测噪声的后验概率密度函数(Probability density function, PDF), 进而结合贝叶斯滤波机理实现时变噪声方差和目标状态的联合估计, 其滤波效果达到与交互式多模型方法相接近的估计精度, 并且凭借 VB 便于结合平均场近似解耦理论将高维变量求解转化为多个低维变量计算的特点, 使其在解决多未知扰动问题方面更具有优势.随后, 文献[7] 采用IW分布近似多变量噪声后验PDF的思想, 给出变分推断框架下噪声方差估计的一般实现形式. 在此基础上, 变分贝叶斯方法在未知量测/系统噪声估计方面得到了进一步的发展[8−9], 并成功推广应用于多目标跟踪环境[10−11]. 在文献[12−13]中滤波器的构建均建立在量测噪声和系统噪声统计特性未知的假设条件下, 其中, 文献[12] 在状态和量测扩维基础上通过采用批处理方式实现对未知噪声矩阵的估计, 然而这种扩维方式不可避免造成计算复杂度的急剧增加; 文献[13] 给出两类噪声统计特性均未知条件下噪声方差的在线估计方法, 并且为避免系统噪声和状态相互独立假设的不合理性,采用独立于当前状态的前一时刻状态预测误差协方差代替系统噪声的统计特性, 进而利用平均场理论近似解耦计算边缘后验 PDF 的变分分布, 以迭代递推方式求解其估计变量期望的解析解, 同时, 将状态一步预测误差协方差的先验分布建模为参数化IW分布, 以实现状态后验概率分布的更新.tααt tttt 考虑到外界环境干扰以及非线性传播等因素的影响, 量测数据概率分布往往呈现出重尾和非对称等非高斯特征. 例如, 在基于电磁信号的距离估计中, 障碍物遮挡造成的非视距量测误差往往远大于其他来源服从对称分布的误差, 导致量测分布呈现非对称非高斯现象. 其次, 受传感器精度和灵敏度的限制, 当运动目标发生强机动时, 雷达极化反射不稳定性将导致的量测随机缺失现象, 也将造成量测产生非高斯特征. 针对量测噪声非高斯问题的处理, 文献[14]采用莱斯分布构建非共轭指数族变换点检测模型, 并将其成功应用于雷达目标跟踪系统中. 文献[15]则提出一种通过构建状态演化模型和量测模型的条件矩实现非线性非高斯系统的状态估计方法. 为了进一步提升滤波器对不同分布形状噪声的鲁棒性, 文献[16] 将 Skew-分布作为非高斯量测似然的近似分布形式, 在此基础上设计了一种鲁棒变分贝叶斯估计器. 文献[17] 考虑在散度最小化准则下, 利用变分分布实现对后验 PDF 的近似. 散度对异常数据具有较好的抑制作用, 但是也打破了对数边缘概率与变分置信下界 (Eviden-ce lower bound, ELBO)、KL 散度(Kullback-Lei-bler divergence) 之和的等式约束关系, 其实质是一种伪 VB 推断方法. 考虑到学生分布和 Skew-分布对因量测异常导致的量测重尾现象和非对称性具有较好鲁棒性[18−19], 文献[20] 针对系统噪声和量测噪声均具有重尾特性的线性系统采用学生分布对状态预测概率密度函数和量测似然函数进行建模, 进而提出了一种基于高斯−学生混合分布的线性滤波器, 与传统高斯假设条件下滤波器估计效果相比进一步提升了系统的状态估计的精度和鲁棒性. 在系统噪声未知且时变和量测噪声重尾条件下,文献[21] 构建参数化IW分布作为状态一步预测误差协方差的共轭先验分布, 同时, 选取参数化学生分布刻画具有厚尾特点的量测似然函数. 然而, 上述噪声自适应方法未考虑非线性滤波器自身的优化问题和如何衡量后验分布近似程度的问题.考虑到在非线性滤波器设计过程中, 参数化变分分布对系统状态后验近似的程度是提高估计精度的关键因素之一, 基于采样的随机优化和基于拟牛顿、高斯牛顿和梯度上升等确定性优化方法的非线性滤波器相继提出. 在随机性优化方面, MCMC (Markov chain Monte Carlo)[22−23] 和序贯蒙特卡罗(Sequential Monte Carlo, SMC) 利用随机样本来逼近后验概率, 并以样本分布近似未知变量后验分布. 随机优化方法的优点是在大量样本的条件下能10 期胡玉梅等: 基于自然梯度的噪声自适应变分贝叶斯滤波算法2095够保证较高精度的估计, 但要承担较大的计算负担[24]. 在确定性优化方面, 文献[25] 以最小二乘准则为目标函数, 采用牛顿法推导给出一种迭代卡尔曼滤波器. 文献[26] 综合梯度法和牛顿法提出一种无噪声条件下的滚动时域估计器, 并证明其渐进收敛性和稳定性. 文献[27] 针对非线性状态空间的状态估计及其估计误差协方差的迭代更新问题, 利用正则化的非线性最小二乘思想提出一种随机增量近端梯度算法. VB 方法通过求解参数化的目标函数,利用参数优化结果逼近后验分布, 是一种确定性近似方法. 因此, VB 具有确定性优化方法特有的计算量较小的优势, 同时由于 VB 便于结合平均场理论近似解耦联合概率分布, 进一步减小了计算代价.α非线性状态估计优化的实质是对多维状态后验PDF 的近似逼近, 并且其近似程度不能简单地采用欧氏距离进行度量. 因此, 选取合理度量准则将有利于提高后验 PDF 的近似程度, KL 散度作为分布之间“差异”的度量在后验分布近似性衡量中具有天然优势. 文献[17]给出状态估计的变分迭代优化实现形式, 获得 散度和 KL 散度下对后验 PDF 更紧密的近似. 同时, 从信息几何角度出发, 概率分布是统计流形上点, 在一定条件下两概率分布之间的 KL 散度与作为统计流形度规的 Fisher 信息满足一定的数学关系. 基于信息几何理论, Amari [28]利用自然梯度优化方式实现统计流形空间中目标函数的最速梯度下降(或上升). 文献[29] 结合自然梯度策略和卡尔曼滤波框架设计一种非线性状态估计方法, 在文献[30] 中, 该方法进一步推广应用于传感器网络目标跟踪系统. 文献[31] 中作者证明了针对非线性状态估计优化的自然梯度方法在克拉美罗下界意义下是渐进最优的. 考虑自然梯度优化的优势, 以变分置信下界最大化条件下状态估计及其估计误差协方差的自然梯度为切入点, 从信息几何角度实现对状态后验概率密度函数的“紧密”逼近, 进而提高状态估计精度.t 在过程噪声先验不准确和由于量测随机丢失导致的量测噪声分布非高斯的情况下, 针对非线性系统状态估计精度和鲁棒性提升问题, 本文提出一种基于自然梯度的噪声自适应变分贝叶斯滤波算法.本文结构如下: 第 1 节结合IW 分布和学生 分布分别实现对状态预测误差协方差和量测似然的参数化建模; 第 2 节结合平均场近似和坐标上升方法给出了变分贝叶斯框架下未知变量变分分布的迭代更新方式; 第 3 节推导给出 ELBO 关于系统状态估计及其误差协方差的自然梯度, 进而构建并设计一种基于自然梯度的噪声自适应非线性变分贝叶斯滤波器; 第 4 节给出仿真验证与分析; 第 5 节总结全文, 并展望了后续研究方向.1 预备知识Ξk z k q (Ξk |ψk )假设动态系统隐变量 的量测为 , 根据变分贝叶斯理论可知, 在变分贝叶斯框架下以变分分布 作为桥梁可将难以积分的问题转化为ELBO 的优化问题.L (ψk )D KL [q (Ξk |ψk )∥p (Ξk |z k )]q (Ξk |ψk )p (Ξk |z k )其中, 表示具有单调递增特性的变分 ELBO, 表示变分分布 与后验分布之间的 KL 散度, 其表达式分别为q (Ξk |ψk )ψk 其中, 表示以 为参数的变分分布.p (Ξk |z k )p (Ξk |z k )t 未知变量的估计实际是对状态后验分布 的近似逼近, 当非线性状态后验分布难以获取时, 变分贝叶斯方法能够通过构建简单的变分分布实现对 的近似逼近. 变分分布选取需考虑先验分布和后验分布具有相同的函数形式, 一般情况下具有共轭特性的指数族分布满足这一条件. 本文考虑系统噪声未知情况, 根据标准卡尔曼滤波实现结构可知, 系统噪声的统计特性仅影响状态预测误差协方差, 因此可直接对状态预测误差协方差进行先验建模. 并且当系统噪声假设服从均值已知但方差未知的多变量高斯分布假设时, 可选取IW 分布作为其分布方差矩阵的共轭先验分布; 此外, 针对量测缺失导致量测噪声出现重尾问题, 考虑选取能够有效表征这一现象的学生 分布对量测似然函数进行建模.1.1 IW 分布共轭先验模型n ×n A 在贝叶斯滤波框架下, 对于系统噪声高斯分布参数未知问题的处理, 可转化为状态预测误差协方差的估计问题. 这里选取IW 分布作为共轭先验分布, 以保证后验分布与先验分布具有相同的函数形式. 一个服从IW 分布的 维随机对称正定矩阵 的概率密度函数可以表示为2096自 动 化 学 报49 卷t T n ×n tr (·)Γn (·)n P k |k −1其中, 和分别表示IW 分布的自由度参数和 维逆尺度矩阵, 表示矩阵的迹, 表示 维的伽马函数. 进而状态预测误差协方差 的先验分布表示为t k ≥n +1E [P k |k −1]对于逆威沙特分布, 当 时, 其变量期望即状态预测误差协方差的均值 表示为t k 令先验分布参数 表示为式 (6) 进一步转化为τ其中, 表示调谐参数[7]. 根据式 (5) ~ (8) 计算得到状态预测协方差的先验分布及其分布参数.t 1.2 学生 分布量测似然模型t υk 0R k t 当量测噪声分布由于量测值随机异常或缺失呈现重尾特征时, 传统高斯噪声分布模型难以对噪声分布特性进行有效刻画. 考虑学生 分布能够更好地体现这一特征, 并且对异常值具有较好的鲁棒性.当量测噪声 满足均值为 、方差为 的分布参数时, 建立参数化学生 分布模型, 即v t R k 其中, 表示学生 分布的自由度参数, 噪声方差 是该分布的尺度矩阵. 在此条件下量测似然函数可表示为t λk t 通常学生 分布的概率密度函数难以求得封闭解, 为了解决这个问题, 引入服从伽马分布的辅助随机变量 , 从而进一步将学生 分布转化为服从参数化高斯分布的伽马分布的积分,式 (10) 中量测似然函数可转化为G (λk ;αk ,βk )λk αk βk 其中, 表示辅助变量服从伽马分布, 和 分别为形状参数和逆尺度参数[20]. 综合上述特点, 在传感器量测存在随机异常值情况下量测似然函数表示为如下结构化形式:p (λk )=G (λk ;αk ,βk )(13)G (λk ;αk ,βk )E [λk ]并且 及其均值分别表示为λk αk βk 最后, 通过对辅助变量 及其超参数 和 更新确定量测似然的表达式.1.3 平均场近似ΞkΞk =(x k ,P k |k −1,λk )根据以上分析建模, 式 (2) 中的系统隐变量 定义为. 考虑到联合后验分布形式的复杂性以及参数相互耦合的问题, 无法直接求得其解析解. 在假设各未知变量相互独立的前提下, 通过引入平均场近似策略实现联合变分分布的近似解耦, 即q (x k )q (P k |k −1)q (λk )x k P k |k −1λk 其中, , 和 分别表示状态 ,状态一步预测协方差 和辅助变量 的变分分布, 通过平均场理论对待估计变量联合分布进行分解, 有助于在变分贝叶斯迭代框架结合坐标上升和各类优化方法实现多变量的联合优化. 结合上述第1.1节和第1.2节中的共轭先验模型和量测似然模型, 相应的变分分布分别表示为q (λk )=G (λk ;αk ,βk )(17)q (P k |k −1)=IW (P k |k −1;t k |k −1,T k |k −1)(18)q (x k )=N (x k ;x k |k ,P k |k )(19)αk βk λk t k |k −1T k |k −1P k |k −1x k |k P k |k x k 其中, 和 为辅助随机变量 的超参数, 同理, 和 为随机未知变量 的超参数; 和 为隐变量 的超参数. 在变分贝叶斯优化过程中, 可结合平均场理论将联合后验的变分分布近似解耦为多个单变量变分分布, 并利用坐标上升方法分别对每个变量进行迭代更新.2 未知变量的变分分布更新Ξk x k P k |k −1λk Ξk Ξk =(x k ,P k |k −1,λk )根据上述构建的共轭先验模型和量测似然模型, 变分置信下界中隐变量 包括状态 , 状态一步预测协方差 和辅助变量 , 可定义为. 采用变分分布近似上述多未知变量的联合后验分布, 即10 期胡玉梅等: 基于自然梯度的噪声自适应变分贝叶斯滤波算法2097()进而, 相应变分置信下界转化为x kP k |k −1λk 在变分置信下界最大化约束下, 结合坐标上升方法, 变量 , 和 概率分布的对数形式的更新分别表示为c P k |k −1,λk c x k ,λk c x k ,P k |k −1其中, , 和 分别表示在迭代过程中产生的实常数.结合建模信息和各变量变分分布的特点, 联合后验分布及其对数形式分别表示为c Ξk D zn z k P k |k −1(x k −xk |k −1)T P −1k |k −1(·)(x k −x k |k −1)T P −1k |k −1(x k −x k |k −1)t λk P k |k −1x k 其中, 表示迭代过程中与变量相关的实常数, 和 分别表示向量 和矩阵 的维数, 表示 的缩写形式(下文中类似情况不再一一说明). 根据式(26)可知, 由于高斯分布、学生 分布和伽马分布均属于指数分布族而具有简单的对数形式, 因此便于采用迭代更新的方式计算其解析解.以下给出 、 以及 的迭代估计的具体实现原理和步骤.λk 2.1 迭代更新i +1λk 根据式 (22)和式 (26), 在第 次变分迭代更新过程中, 的变分分布对数形式可表示为c λk x k P k |k −1x k =x i k |k +˜x k x i k |k˜xk i 其中, 表示 和 积分后相关的实常数.根据贝叶斯无偏估计理论, , 其中 和 分别表示第 次估计值及其估计偏差. 同时,结合局部线性化技术, 式 (27)中期望部分可进一步改写为H ik =∂h k (x k )∂x k |x k =x i k |k x k =x i k |k 其中, 表示量测函数在处的雅克比矩阵.i +1λi +1k αi +1k βi +1k 计算式 (14) 中伽马分布的对数表达式, 并结合式 (27)和式 (28), 不难看出, 第 次更新后参数 的变分分布中超参数 和 的更新过程可表示为Υi k =(z k −H i k x i k |k )T (z k −H i k x ik |k )+(H i k )T P i k |k H i k .其中,λk i +1λi +1k 根据式 (15)中伽马分布的均值表达式, 同时结合式 (29) 和式 (30), 参数 的第 次变分迭代更新 可表示为λkΥi k Υik Υi k i 由式 (31) 可以清晰地看出, 辅助随机变量 的更新与 负相关, 并且在迭代过程中 的变化与上一次迭代的状态估计值及量测函数在此估计值处的局部线性化矩阵有关. 根据 表达式, 第 次2098自 动 化 学 报49 卷i +1Υi k λi +1k i Υi k λi +1k (z k −H i k x ik |k )Υi k 252/E [λ]E [λ]=α/βαβββ迭代的估计值(可理解为第 次迭代估计的先验) 越接近真实状态, 值越小, 根据式 (31) 可知 则越大; 相反, 第 次的估计状态距真实状态较远, 值越大, 则越小. 其物理意义是, 当发生量测随机缺失时导致滤波更新的新息 增大, 同时 值将随之增大, 从而造成式 (11) 中实际量测噪声方差增大, 这种情况将反馈于滤波过程中状态估计的自适应更新. 为了直观地解释这种现象, 结合式 (11) 和式 (13), 采用一维高斯分布和伽马分布说明其相关关系. 图1 给出伽马分布参数对量测似然的影响示意图. 在图1 中, 假设高斯分布的均值和方差分别为 和 , 并且 ,伽马分布参数 和 的值分别在图1(a)和图1(b)中注明. 当量测未发生丢失时, 的值较小, 高斯分布比较集中(如图1(a)所示); 当量测发生随机丢失, 的值增大, 高斯分布比较分散(如图1(b)所示).010********x(a) a = 10, b = 20.020.040.060.080.10概率密度伽马分布高斯分布伽马分布高斯分布1020304050x(b) a = 10, b = 600.0050.0100.0150.0200.0250.0300.035概率密度图 1 伽马分布参数对量测似然函数的影响示意图Fig. 1 The diagram of the influence of Gammadistribution parameters on likelihoodP k |k −12.2 迭代更新i 假设第 次迭代状态估计值已知, 根据式 (23)i +1P k |k −1和式 (26), 在第 次变分贝叶斯迭代更新过程中, 的变分分布的对数形式表示为c P k |k −1x k λk E i x k ,λk [(x k −xk |k −1)(x k −x k |k −1)T ]其中, 参数 表示 和 积分后的相关性实常数. 式 (32)中的期望 可转化为K ik i i t i kT i k P k |k −1其中, 表示在第 次变分贝叶斯迭代中卡尔曼滤波的增益. 令第 次迭代中IW 分布参数分别为 和 , 根据IW 分布表达式 (4), 同时结合式 (32)和式 (33), 则状态预测误差协方差 更新后变分分布的超参数分别为P k |k −1i +1P i +1k |k −1因此, 根据式 (6)中 均值表达式, 同时结合式 (34) 和式 (35), 状态预测误差协方差的第次变分迭代更新 表示为z k −h k (x k |k −1)P i +1k |k −1根据卡尔曼滤波实现原理可知, 当过程噪声方差建模不准确时, 状态预测误差协方差较大, 并且导致量测预测不精确而产生较大的量测新息 . 同时, 由式 (33)可知, 的迭代更新与量测新息正相关, 进而从物理意义上说明状态预测协方差建模的合理性.x k |k 2.3 迭代更新i +1根据式 (24) 和式 (26), 在第 次迭代更新过程中, 系统状态的变分分布对数形式表示为10 期胡玉梅等: 基于自然梯度的噪声自适应变分贝叶斯滤波算法2099{c x k P k |k −1λk i +1P k |k −1λk 其中, 表示与 和 积分后相关性的实常数. 在第 次迭代中, 依据式 (31) 和式 (36) 已经获取状态预测误差协方差 和辅助变量 的估计值由贝叶斯滤波理论可知, 状态后验分布的近似变分分布应具有以下形式C i +1k 其中,表示归一化常数结合高斯分布表达式, 式 (40) 可进一步改写为x i +1k |k P i +1k |k 综合式 (37) ~ (42), 目标状态后验分布的近似变分分布分别是以 和 为期望和协方差的高斯分布, 即()λi +1P i +1k |k x i +1k |k P i +1k |k 针对非线性系统状态估计问题, 现有贝叶斯滤波方法在实现式 (43) 中状态估计及其误差协方差的迭代更新过程中, 往往难以获得与真实后验“紧密”近似的变分分布. 虽然在多个变量坐标迭代优化过程中能够弥补部分由于线性化和参数不精确带来的误差, 但估计精度提升效果受限, 有时难以满足实际工程需求. 因此, 考虑在获得 和 估计值的基础上, 在置信下界最大化条件下结合自然梯度方法和 Fisher 信息矩阵, 推导给出 和 迭代更新解析表达式的具体实现.3 基于自然梯度的噪声自适应变分贝叶斯滤波器3.1 变分置信下界的自然梯度i λk P k |k −1λi k P ik |k −1x k 第 次变分迭代后, 在分别获取参数 和 的估计值 和 的基础上, 式 (2) 可转化为仅包含未知变量 的形式ψk =(x k |k ,P k |k )L (ψk)ψk 定义此时变分参数 , 通过最大化式(44)中的置信下界即可获得状态估计及其误差协方差. 自然梯度通过信息几何方法寻找统计流形空间的目标函数最速下降/上升方向, 给出了一种实现式 (44)置信下界求解的可行性方案[25]. 下面以置信下界 最大化为目标函数, 同时结合Fisher 信息矩阵推导关于变分参数 的自然梯度.式 (44)的置信下界可以进一步表示为i i +1p (x k )p (x k )≈q (x k |ψik),ψk 假设第 次迭代是第 次迭代的先验, 即式(45)中的先验信息 可以近似为 则变分参数 的最优估计值表示为ψk ψ∗k 通过计算式 (46)等号右边关于 线性化函数,可获取置信下界的自然梯度以及相应的最优 .E q [log p (z k |x k )]ψk =ψik D KL [q (x k |ψk )∥q (x k |ψik)]ψk =ψik i +1定理 1. 假设系统状态演化满足高斯分布特性,并且对数似然期望 在 的邻域内一阶可导, 同时, 在 的邻域内二阶可导, 则第 次迭代过2100自 动 化 学 报49 卷。
稀疏高斯过程 sparse gaussian processes
• VI for GPs part 2 (scalability)
• Deep GPs
Problems to solve #1: conjugacy
• Exact approach only possible with
Gaussian likelihood
• ‘Closeness’ is measured in KL
divergence from the approximation to the true posterior
• Turns integration (hard) into
optimization (easy)
Recap: VI (1)
• Integrate out the data variables
NB there are other equivalent ways to derive these results
Some notation
The whole curve
These particular values The whole curve, except the data points
• VI for GPs part 1 (conjugacy)
• VI for GPs part 2 (scalability)
• Deep GPs
Recap: VI
Key points:
• Make an approximate posterior
‘as close as possible’ to the true posterior
Fixed
ELBO
KL divergence from approximate posterior
《尤利西斯》中的戏仿现象探究
Ｓ ｅ ｐ ｔ ． ２ ０ １ ５
《 尤利西斯 》中的戏仿现象探 究
刘峥
（ 苏州 大 学 外 国语 学 院 ，江 苏 苏 州 ２ １ ５ ０ ２ １ ）
［ 摘 要］ 乔伊斯 通 过使 用圣 经戏仿 ，或 直接 引用 ，或采 用反讽 的手 法， 加强 了 尤 利西斯 戏谑 风 格 ，重塑现 代 西方人 扭 曲 空虚 的 心态 。由于 小说 思 想与 主人公 间的冲 突性 ，（ （ 尤利 西斯 与 （ 《 圣经 》
五结语写作手法上乔伊斯的尤利西斯运用戏仿技法对圣经这一崇高的文本形式予以了深刻颠覆揭示了代社会扭曲异化的内心世界凸显了现代主义反英雄的主题深刻剖析了现代社会的精神荒芜的危机增强了文本的反讽效果给与读者以强烈的思想震撼彰显了圣经戏仿这一文学手法的社会价值
第３ ２卷
第 ３期
河 北 工 程 大 学 学 报
一
、
戏仿
说 的第 一 名 ” （ Ｔ ｉ ｍ ２ ０ ０ ３ ）其作 者乔 伊斯 则被誉 为 “ 擅 长 各 种 写作 文 体 的杰 出作 家 ” （ Ｈ ａ ｒ ｒ ｙ Ｂ ｌ ａ ｍ ｉ ｒ ｅ ｓ
戏仿 （ Ｐ ａ ｒ ｏ ｄ ｙ ）是文 学 创作 者 对 某种 所 谓 文 学 １ ９ ８ ７ ： １ ７ ４ ） 。乔伊 斯 也 曾得 意 的 说 ：“ 我 在 书 中设 置
间的关联性变得 晦涩难懂。本文以乔伊斯 的原版 尤利西斯》（ １ ９ ８ ６年 出版 ） ，萧乾、文洁若翻译 （ １ ９ ９ ４年 出版） 和金 陧翻译 （ １ ９ ９ ４及 １ ９ ９ ６年 出版 ）的 中译 本 为研 究 文本 ，对 其进行 研 究。试 图通 过解 析 尤利 西斯 对 （ （ 圣经》 的戏仿 ，从 而更好 地理 解￣ ｒ － ４ ￣斯 的原 本意 图。 ［ 关键词］ 尤利西斯；詹姆士． 乔伊斯 ；圣经戏仿；反讽 ｄ ｏ ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ６ ７ ３ — ９ ４ ７ ７ ． ２ ０ １ ５ ． ０ ３ ． ０ ２ ２ ［ 中图分类号］Ｉ １ ０ ６ ［ 文献标识码］ Ａ ［ 文章编号］１ ６ ７ ３ — ９ ４ ７ ７ （ ２ ０ １ ５ ） ０ ３ — ０ ７ ２ ． ０ ３
简述《哈扎尔辞典》的后现代主义艺术特征。
简述《哈扎尔辞典》的后现代主义艺术特征。
《哈扎尔辞典》是由阿根廷作家何塞·路易斯·博尔赫斯创作的小说。
该小说被认为是典型的后现代主义作品，具有以下艺术特征：
1. 非线性叙事：小说中没有明确的时间和空间线索。
故事情节跳跃，通过碎片化的叙述方式呈现，读者需要自己拼凑和解构故事。
2. 象征性倾向：小说中出现了大量的象征形象和象征意象，如镜子、迷宫、图书等，这些象征物象征着人类智慧和知识的追求。
3. 自反性和元小说性：小说揭示了文学创作本身的过程和机制，包括作者、读者和文字之间的关系。
博尔赫斯通过叙述一个虚构的字典来反思和探讨语言的本质和限制。
4. 反传统和批判性：小说挑战了传统的叙事模式和文学规范。
它反对统一的故事结构和中心化的权威，在形式和内容上打破了传统的边界。
5. 多重解读和开放性：小说具有开放性的结构，读者可以根据自己的理解和解读来理解故事。
它不提供明确的答案，鼓励读者思考和参与文本的创造。
综上所述，《哈扎尔辞典》具有非线性叙事、象征性倾向、自反性和元小说性、反传统和批判性，以及多重解读和开放性等后现代主义艺术特征。
它在形式和内
容上挑战了传统文学的限制，引领人们对语言、知识和现实的反思和批判。
gabriel garcia marquez who 阅读表达
Gabriel Garcia Marquez,who was awarded the Nobel Prize for Literature in 19 82,passed away at the age of 86 on April 17,2014. The world paused to reme mber the cultural giant (巨匠) .Garcia Marquez was born in Colombia,but he spent most of his adult life i n Mexico City. As one of the most famous writers,he was widely regarded as “a giant of 20th-century literature”. Garcia Marquez wrote in a style called “magical realism (魔幻现实主义）”. In such works,people live a daily life in a certain period of time in history. But meanwhile,magical things happen to the m.Garcia Marquez is best known for his 1967 novel,One Hundred Years of So litude (《百年孤独》) ，which has sold about 50 million copies. It tells the tal e of the small and isolated town of Macondo which was separated from the outside world一of its founding and its troubled history over a hundred years. The story is a metaphor (暗喻) for the development of Colombia since the 1 9th century. As Colombian President Juan Manuel Santos said,Garcia Marquez wrote about “ the very essence (精髓) of the Latin American being”.() 21. Garcia Marquez was born in the year.A. 1914B. 1928C. 1967D. 1982() 22. We can know from Paragraph 2 that Garcia Marquez .A. was born in Mexico CityB. spent most of his adult life in ColombiaC. had a writing style called ^magical re-alism”D. was famous but lived a simple daily life() 23. The underlined word “isolated” means.A. 隔绝的B. 安逸的C. 喧嚣的D. 繁华的() 24. Which of the following is NOT TRUE about Garcia Marquez?A. He was the winner of the Noble Prize for Literature in 1982.B. His novel One Hundred Years of Solitude was a great success.C. He was widely known as “a giant of 20t h-century literature”.D. Magical things happened to him during his stay in Mexico City. () 25,The writer quotes (引述) from the President to .A. praise Garcia Marquez for his achievementB. show the deep sadness of the PresidentC. explain the writing style of Garcia MarquezD. describe the character of Garcia Marquez答案：BCADA。