图像处理与计算机视觉：基础,经典以及最近发展
图像处理与计算机视觉：基础，经典以及最近发展（1）序
1. 为什么要写这篇文章
从2002年到现在，接触图像快十年了。虽然没有做出什么很出色的工作，不过在这个领域摸爬滚打了十年之后，发现自己对图像处理和计算机视觉的感情越来越深厚。下班之后看看相关的书籍和文献是一件很惬意的事情。平常的一大业余爱好就是收集一些相关的文章，尤其是经典的文章，到现在我的电脑里面已经有了几十G的文章。写这个文档的想法源于我前一段时间整理文献时的一个突发奇想，既然有这个多文献，何不整理出其中的经典，共享给大家呢。于是当时即兴写了一个《图像处理与计算机视觉中的经典论文》。现在来看，那个文档写得及其拙劣，所共享的论文也非常之有限。就算如此，还是得到了一些网友的夸奖，心里感激不尽。因此，一直想下定决心把这个文章给完善，力求做到尽量全面。
本文是对现有的图像处理和计算机视觉的经典书籍（后面会有推荐）的一个补充。一般的图像处理书籍都是介绍性的介绍某个方法，在每个领域内都会引用几十上百篇参考文献。有时候想深入研究这个领域的时候却发现文献太多，不知如何选择。但实际上在每个领域都有那么三五篇抑或更多是非读不可的经典文献。这些文献除了提出了很经典的算法，同时他们的Introduction和Related work也是对所在的领域很好的总结。读通了这几篇文献也就等于深入了解了这个领域，比单纯的看书收获要多很多。写本文的目的就是想把自己所了解到的各个领域的经典文章整理出来,不用迷失在文献的汪洋大海里。
2. 图像处理和计算机视觉的分类
按照当前流行的分类方法，可以分为以下三部分：
图像处理：对输入的图像做某种变换，输出仍然是图像，基本不涉及或者很少涉及图像内容的分析。比较典型的有图像变换，图像增强，图像去噪，图像压缩，图像恢复，二值图像处理等等。基于阈值的图像分割也属于图像处理的范畴。一般处理的是单幅图像。
图像分析：对图像的内容进行分析，提取有意义的特征，以便于后续的处理。处理的仍然是单幅图像。
计算机视觉：对图像分析得到的特征进行分析，提取场景的语义表示，让计算机具有人眼和人脑的能力。这时处理的是多幅图像或者序列图像，当然也包括部分单幅图像。
关于图像处理，图像分析和计算机视觉的划分并没有一个很统一的标准。一般的来说，图像处理的书籍总会或多或少的介绍一些图像分析和计算机视觉的知识，比如冈萨雷斯的数字图像处理。而计算机视觉的书籍基本上都会包括图像处理和图像分析，只是不会介绍的太详细。其实图像处理，图像分析和计算机视觉都可以纳入到计算机视觉的范畴：图像处理->低层视觉（low level vision），图像分析->中间层视觉（middle level vision），计算机视觉->高层视觉（high level vision）。这是一般的计算机视觉或者机器视觉的划分方法。在本文中，仍然按照传统的方法把这个领域划分为图像处理，图像分析和计算机视觉。
3. 图像处理和计算机视觉开源库以及编程语言选择
目前在图像处理中有两种最重要的语言：c/c++和matlab。它们各有优点：c/c++比较适合大型的工程，效率较高，而且容易转成硬件语言，是工业界的默认语言之一。而matlab实现起来比较方便，适用于算法的快速验证，而且matlab有成熟的工具箱可以使用，比如图像处理工具箱，信号处理工具箱。它们有一个共同的特点：开源的资源非常多。在学术界matlab使用的非常多，很多作者给出的源代码都是matlab版本。最近由于OpenCV的兴起和不断完善，c/c++在图像处理中的作用越来越大。总的来说，c/c++和matlab都必须掌握，最好是精通，当然侧重在c/c++上对找工作会有很大帮助。
至于开源库，个人非常推荐OpenCV，主要有以下原因：
（1）简单易入手。opencv进入opencv2.x的时代后，使用起来越来越简单,接口越来越傻瓜化，越来越matlab化。只要会imread,imwrite,imshow和了解Mat的基本操作就可以开始入手了。
（2）Opencv有一堆图像处理和计算机视觉的大牛在维护，bug在逐步减少，每个新的版本都会带来不同的惊喜。而且它已经或者逐步在移植到不懂的平台,并提供了对Python的很好的支持。
（3）在Opencv上可以尝试各种最新以及成熟的技术，而不需要自己从头去写，比如人脸检测（Harr，LBP），DPM（Latent SVM），高斯背景模型，特征检测，聚类，hough变换等等。而且它还支持各种机器学习方法（SVM，NN，KNN，决策树，Boosting等），使用起来很简单。
（4）文档内容丰富，并且给出了很多示例程序。当然也有一些地方文档描述不清楚，不过看看代码就很清楚了。
（5）完全开源。可以从中间抠出任何需要的算法。
（6）从学校出来后，除极少数会继续在学术圈里，大部分还是要进入工业界。现在在工业界，c/c++仍是主流，很多公司都会优先考虑熟悉或者精通opencv的。事实上，在学术界，现在opencv也大有取代matlab之势。以前的demo或者source code，很多作者都愿意给出matlab版本的，然后别人再呼哧呼哧改成c版本的。现在作者干脆给出c/c++版本，或者自己集成到opencv中去，这样能快速提升自己的影响力。
如果想在图像处理和计算机视觉界有比较深入的研究，并且以后打算进入这个领域工作的话，建议把OpenCV作为自己的主攻方向。如果找工作的时候敢号称自己精通OpenCV的话，肯定可以找到一份满意的工作。
4. 本文的特点和结构，以及适合的对象
本文面向的对象是即将进入或者刚刚进入图像处理和计算机视觉领域的童鞋，可以在阅读书籍的同时参阅这些文献，能对书中提到的算法有比较深刻的理解。由于本文涉及到的范围比较广，如果能对计算机视觉的资深从业者也有一定的帮助，我将倍感欣慰。为了不至太误人子弟，每一篇文章都或多或少的看了一下，最不济也看了摘要(这句话实在整理之前写的，实际上由于精力有限，好多文献都只是大概扫了一眼，然后看了看google的引用数，一般在1000以上就放上来了，把这些文章细细品味一遍也是我近一两年之内的目标)。在成文的过程中，我本人也受益匪浅，希望能对大家也有所帮助。
由于个人精力和视野的关系，有一些我未涉足过的领域不敢斗胆推荐，只是列出了一些引用率比较高的文章，比如摄像机标定和立体视觉。不过将来，由于工作或者其他原因，这些领域也会接触到，我会逐步增减这些领域的文章。同时文章的挑选也夹带了一些个人的喜好，比如我个人比较喜欢low level方向的，尤其是IJCV和PAMI上面的文章，因此这方面也稍微多点，希望不要引起您的反感。如果有什么意见或者建议，欢迎mail我。文章和资源我都会在我的csdn blog
和sina ishare同步更新。在此申明：这些论文的版权归作者及其出版社所有，请勿用于商业目的。
本文的安排如下。第一部分是绪论。第二部分是图像处理中所需要用到的理论基础，主要是这个领域所涉及到的一些比较好的参考书籍。第三部分是计算机视觉中所涉及到的信号处理和模式识别文章。由于图像处理与图像分析太难区分了，第四部分集中讨论了它们。第五部分是计算机视觉部分。最后是小结。
图像处理与计算机视觉：基础，经典以及最近发展（2）图像处理与
计算机视觉相关的书籍
1. 数学
我们所说的图像处理实际上就是数字图像处理，是把真实世界中的连续三维随机信号投影到传感器的二维平面上，采样并量化后得到二维矩阵。数字图像处理就是二维矩阵的处理，而从二维图像中恢复出三维场景就是计算机视觉的主要任务之一。这里面就涉及到了图像处理所涉及到的三个重要属性：连续性，二维矩阵，随机性。所对应的数学知识是高等数学（微积分），线性代数（矩阵论），概率论和随机过程。这三门课也是考研的三门课，构成了图像处理和计算机视觉最基础的数学基础。如果想要更进一步，就要到网上搜搜林达华推荐的数学数目了。
2. 信号处理
图像处理其实就是二维和三维信号处理，而处理的信号又有一定的随机性，因此经典信号处理和随机信号处理都是图像处理和计算机视觉中必备的理论基础。
2.1经典信号处理
信号与系统(第2版) Alan V.Oppenheim等著刘树棠译
离散时间信号处理(第2版) A.V.奥本海姆等著刘树棠译
数字信号处理:理论算法与实现胡广书(编者)
2.2随机信号处理
现代信号处理张贤达著
统计信号处理基础:估计与检测理论Steven M.Kay等著罗鹏飞等译
自适应滤波器原理(第4版) Simon Haykin著郑宝玉等译
2.3 小波变换
信号处理的小波导引:稀疏方法(原书第3版) tephane Malla著, 戴道清等译
2.4 信息论
信息论基础(原书第2版) Thomas M.Cover等著阮吉寿等译
3. 模式识别
Pattern Recognition and Machine Learning Bishop, Christopher M. Springer
模式识别(英文版)(第4版) 西奥多里德斯著
Pattern Classification (2nd Edition) Richard O. Duda等著
Statistical Pattern Recognition, 3rd Edition Andrew R. Webb等著
模式识别(第3版) 张学工著
4. 图像处理与计算机视觉的书籍推荐
图像处理，分析与机器视觉第三版Sonka等著艾海舟等译
Image Processing, Analysisand Machine Vision
这本书是图像处理与计算机视觉里面比较全的一本书了，几乎涵盖了图像视觉领域的各个方面。中文版的个人感觉也还可以，值得一看。
数字图像处理第三版冈萨雷斯等著
Digital Image Processing
数字图像处理永远的经典，现在已经出到了第三版，相当给力。我的导师曾经说过，这本书写的很优美，对写英文论文也很有帮助，建议购买英文版的。
计算机视觉：理论与算法 RichardSzeliski著
Computer Vision: Theory andAlgorithm
微软的Szeliski写的一本最新的计算机视觉著作。内容非常丰富，尤其包括了作者的研究兴趣，比如一般的书里面都没有的Image Stitching和Image Matting等。这也从另一个侧面说明这本书的通用性不如Sonka的那本。不过作者开放了这本书的电子版，可以有选择性的阅读。
Multiple View Geometry inComputer Vision第二版Harley等著
引用达一万多次的经典书籍了。第二版到处都有电子版的。第一版曾出过中文版的，后来绝版了。网上也可以找到电子版。
计算机视觉：一种现代方法 DAForsyth等著
Computer Vision: A ModernApproach
MIT的经典教材。虽然已经过去十年了，还是值得一读。第二版已经在今年（2012年）出来了，在iask上可以找到非常清晰的版本，将近800页，补充了很多内容。期待影印版。
Machine vision: theory,algorithms, practicalities第三版Davies著
为数不多的英国人写的书，偏向于工业。
数字图像处理第四版Pratt著
Digital Image Processing
写作风格独树一帜，也是图像处理领域很不错的一本书。网上也可以找到非常清晰的电子版。
5 小结
罗嗦了这么多，实际上就是几个建议：
（1）基础书千万不可以扔，也不能低价处理给同学或者师弟师妹。不然到时候还得一本本从书店再买回来的。钱是一方面的问题，对着全新的书看完全没有看自己当年上过的课本有感觉。
（2）遇到有相关的课，果断选修或者蹭之，比如随机过程，小波分析，模式识别，机器学习，数据挖掘，现代信号处理甚至泛函。多一些理论积累对将来科研和工作都有好处。
（3）资金允许的话可以多囤一些经典的书，有的时候从牙缝里面省一点都可以买一本好书。不过千万不要像我一样只囤不看。
图像处理与计算机视觉：基础，经典以及最近发展（3）计算机视觉
中的信号处理与模式识别
从本章开始，进入本文的核心章节。一共分三章，分别讲述信号处理与模式识别，图像处理与分析以及计算机视觉。与其说是讲述，不如说是一些经典文章的罗列以及自己的简单点评。与前一个版本不同的是，这次把所有的文章按类别归了类，并且增加了很多文献。分类的时候并没有按照传统的分类方法，而是划分成了一个个小的门类，比如SIFT，Harris都作为了单独的一类，虽然它们都可以划分到特征提取里面去。这样做的目的是希望能突出这些比较实用且比较流行的方法。为了以后维护的方法，按照字母顺序排的序。
本章的下载地址在：
https://www.360docs.net/doc/a416458676.html,/u/2252291285/ish?folderid=868770
1. Boosting
Boosting是最近十来年来最成功的一种模式识别方法之一，个人认为可以和SVM并称为模式识别双子星。它真正实现了“三个臭皮匠，赛过诸葛亮”。只要保证每个基本分类器的正确率超过50%，就可以实现组合成任意精度的分类器。这样就可以使用最简单的线性分类器。Boosting在计算机视觉中的最成功的应用无疑就是Viola-Jones提出的基于Haar特征的人脸检测方案。听起来似乎不可思议，但Haar+Adaboost确实在人脸检测上取得了巨大的成功，已经成了工业界的事实标准，并且逐步推广到其他物体的检测。
Rainer Lienhart在2002 ICIP发表的这篇文章是Haar+Adaboost的最好的扩展，他把原始的两个方向的Haar特征扩展到了四个方向，他本人是OpenCV积极的参与着。现在OpenCV的库里面实现的Cascade Classification就包含了他的方法。这也说明了盛会（如ICIP，ICPR，ICASSP）也有好文章啊，只要用心去发掘。
[1997] A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting
[1998] Boosting the margin A new explanation for the effectiveness of voting methods
[2002 ICIP TR] Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid ObjectDetection
[2003] The Boosting Approach to Machine Learning An Overview
[2004 IJCV] Robust Real-time Face Detection
2. Clustering
聚类主要有K均值聚类，谱聚类和模糊聚类。在聚类的时候如果自动确定聚类中心的数目是一个一直没有解决的问题。不过这也很正常，评价标准不同，得到的聚类中心数目也不一样。不过这方面还是有一些可以参考的文献，在使用的时候可以基于这些方法设计自己的准则。关于聚类，一般的模式识别书籍都介绍的比较详细，不过关于cluster validity讲的比较少，可以参考下面的文章看看。
[1989 PAMI] Unsupervised Optimal Fuzzy Clustering
[1991 PAMI] A validity measure for fuzzy clustering
[1995 PAMI] On cluster validity for the fuzzy c-means model
[1998] Some New Indexes of Cluster Validity
[1999 ACM] Data Clustering A Review
[1999 JIIS] On Clustering Validation Techniques
[2001] Estimating the number of clusters in a dataset via the Gap statistic
[2001 NIPS] On Spectral Clustering
[2002] A stability based method for discovering structure in clustered data
[2007] A tutorial on spectral clustering
3. Compressive Sensing
最近大红大紫的压缩感知理论。
[2006 TIT] Compressed Sensing
[2008 SPM] An Introduction to Compressive Sampling
[2011 TSP] Structured Compressed Sensing From Theory to Applications
4. Decision Trees
对决策树感兴趣的同学这篇文章是非看不可的了。
[1986] Introduction to Decision Trees
5. Dynamical Programming
动态规划也是一个比较使用的方法，这里挑选了一篇PAMI的文章以及一篇Book Chapter
[1990 PAMI] using dynamic programming for solving variational problems in vision
[Book Chapter] Dynamic Programming
6. Expectation Maximization
EM是计算机视觉中非常常见的一种方法，尤其是对参数的估计和拟合，比如高斯混合模型。EM和GMM在Bishop的PRML里单独的作为一章，讲的很不错。关于EM的tutorial，网上也可以搜到很多。
[1977] Maximum likelihood from incomplete data via the EM algorithm
[1996 SPM] The Expectation-Maximzation Algorithm
7. Graphical Models
伯克利的乔丹大仙的Graphical Model，可以配合这Bishop的PRML一起看。
[1999 ML] An Introduction to Variational Methods for Graphical Models
8. Hidden Markov Model
HMM在语音识别中发挥着巨大的作用。在信号处理和图像处理中也有一定的应用。最早接触它是跟小波和检索相关的，用HMM来描述小波系数之间的相互关系，并用来做检索。这里提供一篇1989年的经典综述，几篇HMM在小波，分割，检索和纹理上的应用以及一本比较早的中文电子书，现在也不知道作者是谁，在这里对作者表示感谢。
[1989 ] A tutorial on hidden markov models and selected applications in speech recognition
[1998 TSP] Wavelet-based statistical signal processing using hidden Markov models
[2001 TIP] Multiscale image segmentation using wavelet-domain hidden Markov models
[2002 TMM] Rotation invariant texture characterization and retrieval using steerable wavelet-domain hiddenMarkov models
[2003 TIP] Wavelet-based texture analysis and synthesis using hidden Markov models
Hmm Chinese book.pdf
9. Independent Component Analysis
同PCA一样，独立成分分析在计算机视觉中也发挥着重要的作用。这里介绍两篇综述性的文章，最后一篇是第二篇的TR版本，内容差不多，但比较清楚一些。
[1999] Independent Component Analysis A Tutorial
[2000 NN] Independent component analysis algorithms and applications
[2000] Independent Component Analysis Algorithms and Applications
10. Information Theory
计算机视觉中的信息论。这方面有一本很不错的书Information Theory in Computer Vision and Pattern Recognition。这本书有电子版，如果需要用到的话，也可以参考这本书。
[1995 NC] An Information-Maximization Approach to Blind Separation and Blind Deconvolution
[2010] An information theory perspective on computational vision
11. Kalman Filter
这个话题在张贤达老师的现代信号处理里面讲的比较深入，还给出了一个有趣的例子。这里列出了Kalman的最早的论文以及几篇综述，还有Unscented Kalman Filter。同时也有一篇Kalman Filter在跟踪中的应用以及两本电子书。
[1960 Kalman] A New Approach to Linear Filtering and Prediction Problems Kalman
[1970] Least-squares estimation_from Gauss to Kalman
[1997 SPIE] A New Extension of the Kalman Filter to Nonlinear System
[2000] The Unscented Kalman Filter for Nonlinear Estimation
[2001 Siggraph] An Introduction to the Kalman Filter_full
[2003] A Study of the Kalman Filter applied to Visual Tracking
12. Pattern Recognition and Machine Learning
模式识别名气比较大的几篇综述
[2000 PAMI] Statistical pattern recognition a review
[2004 CSVT] An Introduction to Biometric Recognition
[2010 SPM] Machine Learning in Medical Imaging
13. Principal Component Analysis
著名的PCA，在特征的表示和特征降维上非常有用。
[2001 PAMI] PCA versus LDA
[2001] Nonlinear component analysisas a kernel eigenvalue problem
[2002] A Tutorial on Principal Component Analysis
[2004 PAMI] Two-dimensional PCA a new approach to appearance-based face representation and recognition [2009] A Tutorial on Principal Component Analysis
[2011] Robust Principal Component Analysis
[Book Chapter] Singular Value Decomposition and Principal Component Analysis
14. Random Forest
随机森林
[2001 ML] Random Forests
15. RANSAC
随机抽样一致性方法，与传统的最小均方误差等完全是两个路子。在Sonka的书里面也有提到。
[2009 BMVC] Performance Evaluation of RANSAC Family
16. Singular Value Decomposition
对于非方阵来说，就是SVD发挥作用的时刻了。一般的模式识别书都会介绍到SVD。这里列出了K-SVD以及一篇BookChapter
[2006 TSP] K-SVD An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation
[Book Chapter] Singular Value Decomposition and Principal Component Analysis
17. Sparse Representation
这里主要是Proceeding of IEEE上的几篇文章
[2009 PAMI] Robust Face Recognition via Sparse Representation
[2009 PIEEE] Image Decomposition and Separation Using Sparse Representations An Overview
[2010 PIEEE] Dictionaries for Sparse Representation Modeling
[2010 PIEEE] It's All About the Data
[2010 PIEEE] Matrix Completion With Noise
[2010 PIEEE] On the Role of Sparse and Redundant Representations in Image Processing
[2010 PIEEE] Sparse Representation for Computer Vision and Pattern Recognition
[2011 SPM] Directionary Learning
18. Support Vector Machines
[1998] A Tutorial on Support Vector Machines for Pattern Recognition
[2004] LIBSVM A Library for Support Vector Machines
19. Wavelet
在小波变换之前，时频分析的工具只有傅立叶变换。众所周知，傅立叶变换在时域没有分辨率，不能捕捉局部频域信息。虽然短时傅立叶变换克服了这个缺点，但只能刻画恒定窗口的频率特性，并且不能很好的扩展到二维。小波变换的出现很好的解决了时频分析的问题，作为一种多分辨率分析工具，在图像处理中得到
了极大的发展和应用。在小波变换的发展过程中，有几个人是不得不提的，Mallat，Daubechies，Vetteri，M.N.Do，Swelden，Donoho。Mallat和Daubechies 奠定了第一代小波的框架，他们的著作更是小波变换的必读之作，相对来说，小波十讲太偏数学了，比较难懂。而Mallat的信号处理的小波导引更偏应用一点。Swelden提出了第二代小波，使小波变换能够快速方便的实现，他的功劳有点类似于FFT。而Donoho，Vetteri，Mallat及其学生们提出了Ridgelet, Curvelet, Bandelet,Contourlet等几何小波变换，让小波变换有了方向性，更便于压缩，去噪等任务。尤其要提的是M.N.Do，他是一个越南人，得过IMO的银牌，在这个领域著作颇丰。我们国家每年都有5个左右的IMO金牌，希望也有一两个进入这个领域，能够也让我等也敬仰一下。而不是一股脑的都进入金融，管理这种跟数学没有多大关系的行业，呵呵。很希望能看到中国的陶哲轩，中国的M.N.Do。
说到小波，就不得不提JPEG2000。在JPEG2000中使用了Swelden和Daubechies提出的用提升算法实现的9/7小波和5/3小波。如果对比JPEG和JPEG2000，就会发现JPEG2000比JPEG在性能方面有太多的提升。本来我以为JPEG2000的普及只是时间的问题。但现在看来，这个想法太Naive了。现在已经过去十几年了，JPEG2000依然没有任何出头的迹象。不得不说，工业界的惯性力量太强大了。如果以前的东西没有什么硬伤的话，想改变太难了。不巧的是，JPEG2000的种种优点在最近的硬件上已经有了很大的提升。压缩率？现在动辄1T，2T的硬盘，没人太在意压缩率。渐进传输？现在的网速包括无线传输的速度已经相当快了，渐进传输也不是什么优势。感觉现在做图像压缩越来越没有前途了，从最近的会议和期刊文档也可以看出这个趋势。不管怎么说，JPEG2000的Overview还是可以看看的。
[1989 PAMI] A theory for multiresolution signal decomposition__the wavelet representation
[1996 PAMI] Image Representation using 2D Gabor Wavelet
[1998 ] FACTORING WAVELET TRANSFORMSIN TO LIFTING STEPS
[1998] The Lifting Scheme_ A Construction Of Second Generation Wavelets
[2000 TCE] The JPEG2000 still image coding system_ an overview
[2002 TIP] The curvelet transform for image denoising
[2003 TIP] Gray and color imagecontrast enhancement by the curvelet transform
[2003 TIP] Mathematical Properties of the jpeg2000 wavelet filters
[2003 TIP] The finite ridgelet transform for image representation
[2005 TIP] Sparse Geometric Image Representations With Bandelets
[2005 TIP] The Contourlet Transform_ An Efficient Directional Multiresolution Image Representation
[2010 SPM] The Curvelet Transform
图像处理与计算机视觉：基础，经典以及最近发展（4）图像处理与
分析
本章主要讨论图像处理与分析。虽然后面计算机视觉部分的有些内容比如特征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己所用，或者从中得到灵感，这就够了。
本章的下载地址在：
https://www.360docs.net/doc/a416458676.html,/u/2252291285/ish?folderid=868771
1. Bilateral Filter
Bilateral Filter俗称双边滤波器是一种简单实用的具有保持边缘作用的平缓滤波器，由Tomasi等在1998年提出。它现在已经发挥着重大作用，尤其是在HDR领域。
[1998 ICCV] BilateralFiltering for Gray and Color Images
[2008 TIP] AdaptiveBilateral Filter for Sharpness Enhancement and Noise Removal
2. Color
如果对颜色的形成有一定的了解，能比较深刻的理解一些算法。这方面推荐冈萨雷斯的数字图像处理中的相关章节以及Sharma在Digital Color Imaging Handbook 中的第一章“Colorfundamentals for digital imaging”。跟颜色相关的知识包括Gamma，颜色空间转换，颜色索引以及肤色模型等，这其中也包括著名的EMD。[1991 IJCV] Color Indexing
[2000 IJCV] The EarthMover's Distance as a Metric for Image Retrieval
[2001 PAMI] Colorinvariance
[2002 IJCV] StatisticalColor Models with Application to Skin Detection
[2003] A review of RGBcolor spaces
[2007 PR]A survey ofskin-color modeling and detection methods
Gamma.pdf
GammaFAQ.pdf
https://www.360docs.net/doc/a416458676.html,pression and Encoding
个人以为图像压缩编码并不是当前很热的一个话题，原因前面已经提到过。这里可以看看一篇对编码方面的展望文章
[2005 IEEE] Trends andperspectives in image and video coding
4.Contrast Enhancement
对比度增强一直是图像处理中的一个恒久话题，一般来说都是基于直方图的，比如直方图均衡化。冈萨雷斯的书里面对这个话题讲的比较透彻。这里推荐几篇个人认为不错的文章。
[2002 IJCV] Vision and theAtmosphere
[2003 TIP] Gray and colorimage contrast enhancement by the curvelet transform
[2006 TIP] Gray-levelgrouping (GLG) an automatic method for optimized image contrastenhancement-part II
[2006 TIP] Gray-levelgrouping (GLG) an automatic method for optimized image contrastEnhancement-part I
[2007 TIP] TransformCoefficient Histogram-Based Image Enhancement Algorithms Using Contrast Entropy
[2009 TIP] A HistogramModification Framework and Its Application for Image Contrast Enhancement
5. Deblur (Restoration)
图像恢复或者图像去模糊一直是一个非常难的问题，尤其是盲图像恢复。港中文的jiaya jia老师在这方面做的不错，他在主页也给出了exe。这方面的内容也建议看冈萨雷斯的书。这里列出了几篇口碑比较好的文献，包括古老的Richardson-Lucy方法，几篇盲图像恢复的综述以及最近的几篇文章，尤以Fergus和Jiaya Jia 的为经典。
[1972] Bayesian-BasedIterative Method of Image Restoration
[1974] an iterative techniquefor the rectification of observed distributions
[1990 IEEE] Iterativemethods for image deblurring
[1996 SPM] Blind ImageDeconvolution
[1997 SPM] Digital imagerestoration
[2005] Digital ImageReconstruction - Deblurring and Denoising
[2006 Siggraph] RemovingCamera Shake from a Single Photograph
[2008 Siggraph]High-quality Motion Deblurring from a Single Image
[2011 PAMI]Richardson-Lucy Deblurring for Scenes under a Projective Motion Path
6. Dehazing and Defog
严格来说去雾化也算是图像对比度增强的一种。这方面最近比较好的工作就是He kaiming等提出的Dark Channel方法。这篇论文也获得了2009的CVPR 最佳论文奖。2003年的广东高考状元已经于2011年从港中文博士毕业加入MSRA（估计当时也就二十五六岁吧），相当了不起。
[2008 Siggraph] SingleImage Dehazing
[2009 CVPR] Single ImageHaze Removal Using Dark Channel Prior
[2011 PAMI] Single ImageHaze Removal Using Dark Channel Prior
7. Denoising
图像去噪也是图像处理中的一个经典问题，在数码摄影中尤其重要。主要的方法有基于小波的方法和基于偏微分方程的方法。
[1992 SIAM] Imageselective smoothing and edge detection by nonlinear diffusion. II
[1992 SIAM] Imageselective smoothing and edge detection by nonlinear diffusion
[1992] Nonlinear totalvariation based noise removal algorithms
[1994 SIAM] Signal andimage restoration using shock filters and anisotropic diffusion
[1995 TIT] De-noising bysoft-thresholding
[1998 TIP] Orientationdiffusions
[2000 TIP] Adaptivewavelet thresholding for image denoising and compression
[2000 TIP] Fourth-orderpartial differential equations for noise removal
[2001] Denoising through wavelet shrinkage
[2002 TIP] The CurveletTransform for Image Denoising
[2003 TIP] Noise removalusing fourth-order partial differential equation with applications to medicalmagnetic resonance images in space and time
[2008 PAMI] AutomaticEstimation and Removal of Noise from a Single Image
[2009 TIP] Is DenoisingDead
8. Edge Detection
边缘检测也是图像处理中的一个基本任务。传统的边缘检测方法有基于梯度算子，尤其是Sobel算子，以及经典的Canny边缘检测。到现在，Canny边缘检测及其思想仍在广泛使用。关于Canny算法的具体细节可以在Sonka的书以及canny自己的论文中找到，网上也可以搜到。最快最直接的方法就是看OpenCV的源代码，非常好懂。在边缘检测方面，Berkeley的大牛J Malik和他的学生在2004年的PAMI提出的方法效果非常好，当然也比较复杂。在复杂度要求不高的情况下，还是值得一试的。MIT的Bill Freeman早期的代表作Steerable Filter在边缘检测方面效果也非常好，并且便于实现。这里给出了几篇比较好的文献，包括一篇最新的综述。边缘检测是图像处理和计算机视觉中任何方向都无法逃避的一个问题，这方面研究多深都不为过。
[1980] theory of edgedetection
[1983 Canny Thesis] findedge
[1986 PAMI] AComputational Approach to Edge Detection
[1990 PAMI] Scale-spaceand edge detection using anisotropic diffusion
[1991 PAMI] The design anduse of steerable filters
[1995 PR] Multiresolutionedge detection techniques
[1996 TIP] Optimal edgedetection in two-dimensional images
[1998 PAMI] Local ScaleControl for Edge Detection and Blur Estimation
[2003 PAMI] Statisticaledge detection_ learning and evaluating edge cues
[2004 IEEE] Edge DetectionRevisited
[2004 PAMI] Design ofsteerable filters for feature detection using canny-like criteria
[2004 PAMI] Learning toDetect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
[2011 IVC] Edge and lineoriented contour detection State of the art
9. Graph Cut
基于图割的图像分割算法。在这方面没有研究，仅仅列出几篇引用比较高的文献。这里又见J Malik，当然还有华人杰出学者Jianbo Shi，他的主页非常搞笑，在醒目的位置标注Do not flyChina Eastern Airlines ...看来是被坑过，而且坑的比较厉害。这个领域，俄罗斯人比较厉害。
[2000 PAMI] Normalizedcuts and image segmentation
[2001 PAMI] Fastapproximate energy minimization via graph cuts
[2004 PAMI] What energyfunctions can be minimized via graph cuts
10.Hough Transform
虽然霍夫变换可以扩展到广义霍夫变换，但最常用的还是检测圆和直线。这方面同样推荐看OpenCV的源代码，一目了然。Matas在2000年提出的PPHT已经集成到OpenCV中去了。
[1986 CVGIU] A Survey ofthe Hough Transform
[1989] A Comparative studyof Hough transform methods for circle finding
[1992 PAMI] Shapesrecognition using the straight line Hough transform_ theory and generalization
[1997 PR] Extraction ofline features in a noisy image
[2000 CVIU] RobustDetection of Lines Using the Progressive Probabilistic Hough Transform
11. Image Interpolation
图像插值，偶尔也用得上。一般来说，双三次也就够了
[2000 TMI] Interpolationrevisited
12. Image Matting
也就是最近，我才知道这个词翻译成中文是抠图，比较难听，不知道是谁开始这么翻译的。没有研究，请看文章以及Richard Szeliski的相关章节。以色列美女Levin在这方面有两篇PAMI。
[2008 Fnd] Image and VideoMatting A Survey
[2008 PAMI] A Closed-FormSolution to Natural Image Matting
计算机视觉与图像理解
计算机视觉与图像理解 摘要 精确的特征跟踪是计算机视觉中的许多高层次的任务，如三维建模及运动分析奠定了基础。虽然有许多特征跟踪算法，他们大多对被跟踪的数据没有错误信息。但是，由于困难和空间局部性的问题，现有的方法会产生非常不正确的对应方式，造成剔除了基本的后处理步骤。我们提出了一个新的通用框架，使用Unscented转换，以增加任意变换特征跟踪算法，并使用高斯随机变量来表示位置的不确定性。我们运用和验证了金出武雄，卢卡斯- Tomasi 的跟踪功能框架，并将其命名为Unscented康莱特（UKLT）。UKLT能跟踪并拒绝不正确的应对措施。并证明对真假序列的方法真确性，并演示UKLT能做出正确不误的判断出物体的位置。 1．简介 在计算机视觉，对问题反映的准确性取决于于图像的准确测定。特征跟踪会随时间变化对变化的图像进行处理，并更新每个功能的变化作为图像的位置判断。重要的是所选择图像的功能，有足够的信息来跟踪，而且不遭受光圈问题的影响。[1] 在金出武雄，卢卡斯- Tomasi（康莱特）是最知名的跟踪和研究方法之一。它采用一对匹配准则刚性平移模型，它是相当于窗口强度的平方差之和最小化的基础。特征点的正确选择，可大大提高算法的性能。[3] Shi与Tomasi 将初始算法考虑仿射模型，并提出了技术监测的功能对质量进行跟踪。如果第一场比赛中的图像区域之间和当前帧残留超过阈值时，该功能将被拒绝。在随后的工作中，对模型进行了扩展且考虑了光照和反射的变化。 不幸的是，这些算法没有考虑在跟踪的不确定性，和估计的可靠性。如果我们能够考虑到这些问题，我们将能从混乱的数据中提取出更准确的数据。在没有不确定性特设技术条件下，有些研究员试图从中提取有用的数据但是结果都不能令人满意。但是理论上有声音的不确定性为特征跟踪，是可以应用于不同的功能类型的方法。 在一个闭塞，模糊，光照变化的环境中，即使是最复杂的特征跟踪算法一败涂地无法准确跟踪。这些问题导致错误的匹配，就是离群值。虽然有几种方法来减轻异常值的影响，但是其计算成本通常较高[7] [8]。[9]采用随机抽样一致性[10]的方法来消除图像序列异常值。Fusiello提出的康莱特，增加了一种自动拒绝规则功能，所谓的X84。虽然有许多离群排斥的方法，但没有一个单一的算法，尽管该算法在所有情况下都表现良好。 在本文中我们将研究范围扩大，运用高斯随机变量（GRVs）与Unscented变换（SUT 的），计算在一个非线性变换的分布传播，运用标准康莱特算法。采用随机变量来描述图像特征的位置和它们的不确定性既提高了精度又提高了鲁棒性的跟踪过程。虽然我们不知道什么是真正的分布，被测系统为我们提供了理论保证，前两个时刻的估计是正确的。另外，使用异常检测被测样品确定性使我们没有增加任何额外费用。 2．不确定度表示 我们现在引入一个新的通用框架，增强了任意特征跟踪算法，以代表和跟踪高斯随机变量（GRVs）功能的位置。然后，我们说明它可以被应用到最常用的方法，康莱特之一[1]。 GRVs是一种用于图像的特征定位概率分布函数描述的不错选择。他们有一个简单易懂的数学公式（平均向量和协方差矩阵）和紧凑的计算实施。他们也有一个确切的封闭使用的线性代数运算的代数线性变换的制定，并以此作为其参数表示的两个分布的第一时刻。Haralick [13]虽然提出了在计算机视觉中使用协方差传递，但他只考虑一阶线性化。 易用性外，还出现了一些有效的文献，它质疑从本地的图像灰度信息测量协方差是否可以代表的功能位置的不确定性[6]。
基于图像预处理的二维码识别技术的研究概要
基于图像预处理的二维码识别技术的研究 摘要：随着计算机科学技术的发展，自动识别技术得到了广泛的应用。在众多自动识别的技术中，条码技术已经成为当今主要的计算机自动识别技术之一。为解决条码信息容量有限的问题，九十年代以来出现一种新的条码——二维码。 二维码是指在平面二维方向上，使用某种特定的几何图形按一定规律分布的黑白相间的，用以记录信息的符号。在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理：它具有条码技术的一些共性：每种码制有其特定的字符集；每个字符占有一定的宽度；具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化等特点。 二维码主要分为两大类：一是堆叠式是二维码，其主要代表是pdf417；二是矩阵式二维码，主要包括QR码和Data Matrix码。在现代商业活动中，二维码以其低成本、快速识读、含有大量信息而广泛应用于各个行业，如：产品防伪/溯源、广告推送、网站链接、数据下载、商品交易、定位/导航、电子凭证、车辆管理、信息传递、名片交流、wifi共享等，人们通过手机二维码的扫描软件就可以轻松获得二维码中所储藏的信息。 对QR码进行识别需要使用采集设备采集的图像，但图像的采集过程中由于受到各种因素（如光照不均匀、拍摄角度、二维码有褶皱等）的影响，可能导致二维码图像背景有各种噪声，收到的图像可能存在几何畸变或者图像有阴影，从而导致识读设备很难识读，给解码带来相当大的困难。因此，如何对收集到的图像进行适当的去噪和校正已成为二维码识别的关键问题[1]。 本文主要针对异常QR码以及Data Matrix码的识别进行描述，先表明二维码识别要解决的问题、任务和框架，并对现有方法进行阐述，最后讨论二维码识别技术仍需解决的问题，并展望看其未来研究方向。 1.二维码识别的概念框架 随着二维码的广泛使用，二维码被广泛认知，当人们遇到二维码扫描失败的时候，对其产生的影响也是巨大的，人们会怀疑是不是产品是假的，或者是有诈骗信息，但其主要问题可能是： 1)二维码的扫描不够精确； 2)不是真的二维码图形；
基于计算机视觉和图像处理的交通参数检测
基于计算机视觉和图像处理的交通参数检测 作者：魏武， 张起森， 王明俊， 黄中祥 作者单位：长沙交通学院道路与交通工程系 刊名： 信息与控制 英文刊名：INFORMATION AND CONTROL 年，卷(期)：2001,30(3) 被引用次数：40次 参考文献(5条) 1.P G Michalopoulos Vehicle Detection through Image Processing, The Autoscope System, IEEE Trans[外文期刊] 1991(01) 2.Brian Carlson Vision Makes Traffic Control Intelligent 1997(02) 3.W Wei;X H Huang;M Wang W Li Method of Road-Traffic Parameter Detection Using Optical Sensor 2000 4.A T Ali;J Bulas-Cruz;E L Dageless Vision Based Road Traffic Data Collection, Proc. ISATA 26th 1993 5.P Briquet Video Processing Applied to Road and Urban Traffic Monitoring[外文会议] 1992 本文读者也读过(1条) 1.徐波智能交通系统中车辆提取与计数算法研究[学位论文]2006 引证文献(40条) 1.张霖.韩宝明.李得伟基于图像技术的城市轨道交通大客流辨识[期刊论文]-都市快轨交通 2012(1) 2.蒋鹏洲视频车辆检测器在城市道路监控中的应用[期刊论文]-华章 2011(16) 3.徐建闽.杨传岗.林培群视频交通场景的背景生成方法研究[期刊论文]-公路交通科技 2009(8) 4.占建云.张毅.王长君.姚丹亚.陆磊基于HALCON的视频交通参数检测方法[期刊论文]-公路交通科技 2008(9) 5.杨传岗.徐建闽.林晓辉基于视频技术的交通场景背景生成方法研究[期刊论文]-西部交通科技 2008(1) 6.佟守愚.程三伟.李江高速公路车辆超速检测算法影响因素分析与对策研究[期刊论文]-公路交通科技 2006(10) 7.王命延.朱明峰.王昊机动车视频测速中关键技术的研究与实现[期刊论文]-计算机工程 2006(5) 8.张旭东.钱玮.高隽.方廷健视频图像中运动目标的实时检测[期刊论文]-系统工程与电子技术 2005(3) 9.张绍满.盛翊智.李炳基.朱运洲一种基于虚拟线圈运动矢量的车速检测方法[期刊论文]-华中科技大学学报(自然科学版) 2004(1) 10.郇洪江.宫宁生.胡斌基于视频的道路识别新算法在交通监测系统中的应用[期刊论文]-计算机应用与软件2010(6) 11.于强.康凌道路交通视频检测系统初探[期刊论文]-天津科技 2009(6) 12.曹江中.戴青云.谭志标.邸磊基于视频检测的高速公路交通信息采集系统设计[期刊论文]-电子技术应用 2007(6) 13.曹江中.戴青云.谭志标.邸磊基于视频的高速公路车辆检测和跟踪算法[期刊论文]-计算机应用 2006(2) 14.杨昌勇.刘建伟.曹泉车辆违章逆行的图像自动检测与识别[期刊论文]-计算机工程与设计 2005(10) 15.孙棣华.马丽.陈伟霞基于手机定位及聚类分析的实时交通参数估计[期刊论文]-交通运输系统工程与信息2005(3) 16.基于视频图像处理的实时车速信息采集系统的研究[学位论文]硕士 2005
《图像理解与计算机视觉》习题
《图像理解与计算机视觉》习题 1. 一幅图像的象素灰度级为256、大小为1024×1024的图象的数据量多少MB？假设网络的平均传输速率为1Mbit/s，需要多少秒才能传送完毕？每个像素可以用8比特表示。 解答：图像的数据量是1024×1024×8/8=1 MB，需要8 秒才能传送完毕。 2. 通过你对生活的观察，举出一个书本描述之外的图像处理应用的领域和例子。 解答： 医院CT检查，等。 I f x y z t的各个参数的具体含义，反映的图像类型有多 3. 请说明图像亮度函数(,,,,) 少？ 解答： I f x y z t中，(x,y,z)是空间坐标，λ是波长，t 是时间，I 是 图像数学表达式(,,,,) 光点(x,y,z)的强度（幅度）。上式表示一幅运动(t) 的、彩色/多光谱(λ) 的、立体（x,y,z）图像。 I f x y z t表示一幅运动(t) 的、彩色/多光谱(λ) 的、立体（x,y,z）图像。对 (,,,,) 于静止图像，则与时间t 无关；对于单色图像(也称灰度图像)，则波长λ为一常数；对于平面图像，则与坐标z 无关，故f(x,y)表示平面上的静止灰度图像，它是一般图像I f x y z t的一个特例。 (,,,,) 4. 色彩具有哪几个基本属性，表述这些属性的含义。 解答： 色相（H）：色相是与颜色主波长有关的颜色物理和心理特性，它们就是所有的色相，有时色相也称为色调。 饱和度（S）：饱和度指颜色的强度或纯度，表示色相中灰色成分所占的比例，用0%-100%（纯色）来表示。 亮度（B）：亮度是颜色的相对明暗程度，通常用0%（黑）-100%（白）来度量。 5. 请解释马赫带效应。 解答： 所谓“马赫带效应（Mach band effect）”是指视觉的主观感受在亮度有变化的地方
计算机视觉期末复习
一、 1.什么是计算机视觉？理解计算机视觉问题的产生原理。 研究用计算机来模拟生物视觉功能的技术学科。具体来说，就是让计算机具有对周围世界的空间物体进行 传感、抽象、分析判断、决策的能力，从而达到识别、理解的目的。 2.直方图的均衡化 处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方 图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是 把给定图像的直方图分布改变成“均匀”分布直方图分布。 是将原图像通过某种变换，得到一幅灰度直方图更为均匀分布的新图像的方法。设图像均衡化处理后，图像的直方图 是平直的，即各灰度级具有相同的出现频数，那么由于灰度级具有均匀的概率分布，图像看起来就更清晰了。 二、 1.常见的几何变换：平移T x为点（x，y）在x方向要平移的量。 旋转 变尺度：x轴变大a倍，y轴变大b倍。 2.卷积掩膜技术：(,) (,)(,)(,) m n f i j h i m j n g m n =-- ∑∑ 对应相乘再相加掩膜的有效应用——去噪问题 3. 均值滤波器（低通）：抑制噪声 主要用于抑制噪声，对每一个目标像素值用其局部邻域内所有像素值的加权均值置换。con命令高斯滤波器：一个朴素的道理，距离目标像素越近的点，往往相关性越大，越远则越不相干。所以，高斯 滤波器根据高斯函数选择邻域内各像素的权值 medfilt1 。 区别方法是：高通滤波器模板的和为0，低通滤波器模板的和为1 常用的非线性滤波器：中值滤波；双边滤波；非局部滤波 4.边缘检测算子：通过一组定义好的函数，定位图像中局部变换剧烈的部分（寻找图像边缘）。主要方法有：Robert 交叉梯度，Sobel梯度，拉普拉斯算子，高提升滤波，高斯-拉普拉斯变换（都是高通滤波器） 1100 cos sin0 [1][1]sin cos0 001 x y x y θθ θθ - ?? ? = ? ? ?? 1100 00 [1][1]00 00 a x y x y b ab ?? ? = ? ? ?? (,) 1 [,][,] k l N h i j f k l M∈ =∑ ? ? ? ? ? ? ? = 1 1 1 ]1 [ ]1 [ 1 1 y x T T y x y x
《计算机视觉与图象处理》.
视觉检测技术基础》课程教学大纲 一、课程基本信息 1、课程代码：MI420 2 、课程名称（中/ 英文）：视觉检测技术基础/ Foundation of visual measurement technique 3、学时/ 学分：27/1.5 4、先修课程：高等数学，大学物理 5、面向对象：电子信息类专业本科生 6、开课院（系）、教研室：电子信息与电气工程学院仪器系自动检测技术研究所 7、教材、教学参考书：自编讲义 《机器视觉》，贾云得著，科学出版社，2000 《计算机视 觉》，马颂德著，科学出版社，1997 《图像工程》，章毓晋 著，清华大学出版社，2002 二、本课程的性质和任务 《视觉检测基础》是电子信息学院仪器系四年级本科生的选修课，通过本课程的学习，使学生初步了解视觉检测系统的构成及基本原理，每个组成部分如何选择设计，掌握相应的图像处理方法，增加学生的专业知识。通过上机实践提高学生的实际编程能力，增强感性认识，为以后科研、工作中遇到的相关问题提供一个解决的思想，并能实际运用。 三、本课程教学内容和基本要求
1. 基本要求 《视觉检测基础》作为本科生的选修课，应当主要立足于对学生知识的普及，主要讲述计算机视觉系统的组成、设计、处理等方面的基本知识，以课堂讲述为主，讲述中应结合日常生活实际，提高学生的学习兴趣，让学生掌握基本的处理过程及算法，并辅以实验手段进一步增强学生对视觉检测技术的了解，增加感性认识， 2. 教学内容 (1) 课堂教学部分 第一讲计算机视觉概述 一、什么是计算机视觉 二、计算机视觉的应用 三、计算机视觉的研究内容 1 、主要研究内容 2 、与其它学科的关系 第二讲成像原理与系统 一、成像几何基础 1、透视投影 2、正交投影 二、输入设备 1 、镜头 2 、摄像机
图像处理与计算机视觉算法及应用
图像处理与计算机视觉算法及应用 图像处理与计算机视觉算法及应用（Algorithms for Image Processing and Computer Vision）（第2版）的配套代码。基于OpenCV库-matching code for the book"Algorithms for Image Processing and Computer Vision".Based on OpenCV Library. [上传源码成为会员下载此文件] [成为VIP会员下载此文件] 文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉): 图像处理与计算机视觉算法及应用（第2版）\Chapter 1\capture.c .......................................\.........\lib0.c .......................................\.........\thr_glh.c .......................................\.........0\angular.c .......................................\..........\check.c .......................................\..........\convert.c .......................................\..........\display.c .......................................\..........\listGreyFiles.c
计算机视觉与图像处理、模式识别、机器学习学科之间的关系
计算机视觉与图像处理、模式识别、机器学习学科之间的关系 在我的理解里，要实现计算机视觉必须有图像处理的帮助，而图像处理倚仗与模式识别的有效运用，而模式识别是人工智能领域的一个重要分支，人工智能与机器学习密不可分。纵观一切关系，发现计算机视觉的应用服务于机器学习。各个环节缺一不可，相辅相成。 计算机视觉（computer vision），用计算机来模拟人的视觉机理获取和处理信息的能力。就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。 图像处理（image processing），用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。 模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度，模式识别分为有监督的分类（Supervised Classification）和无监督的分类(Unsupervised Classification)两种。模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。模式识别研究主要集中在两方面,一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴,二是在给定的任务下,如何用计算机实现模式识别的理论和方法。应用计算机对一组事件或过程进行辨识和分类，所识别的事件或过程可以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象与数字形式的信息相区别，称为模式信息。模式识别与统计学、心理学、语言学、计算机科学、生物学、控制论等都有关系。它与人工智能、图像处理的研究有交叉关系。 机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习在人工智能的研究中具有十分重要的地位。一个不具有学习能力的智能系统难以称得上是一个真正的智能系统，但是以往的智能系统都普遍缺少学习的能力。随着人工智能的深入发展，这些局限性表现得愈加突出。正是在这种情形下，机器学习逐渐成为人工智能研究的核心之一。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。机器学习的研究是根据生理学、认知科学等对人类学习机理的了解，建立人类学习过程的计算模型或认识模型，发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析，建立面向任务的具有特定应用的学习系统。这些研究目标相互影响相互促进。
计算机视觉及其应用2
计算机视觉及其应用 1.计算机视觉概述 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 2.国内计算机图像视觉技术的应用现状 对产品质量、生产效率、精度等需要很高的新型的高科技生产领域，尤其在半导体和光电子工业，可以说所有全线产品和生产工艺等都需要应用到计算机图像和视觉技术，在电子装配工业，如SMT 设备、电子元件质量检测等也同样需要使用这门技术。在对传统工业设备和工艺流程等进行新技术改造或替换过程中，在各种安全监控领域，以及随市场发展而出现新的需要领域等等，都能够应用此技术，其市场非常大，发展潜力无穷。计算机图像和视觉技术已经在国外得到广泛的应用，并且技术也比较成熟。然而，在国内的情况并不乐观。随着国内市场成熟，巨大的市场驱动，加上此技术明显的固有优势，相信它将在国内得到广泛的应用，产生巨大的经济效率。 3.计算机视觉应用的关键技术 机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。 （1）图像的增强 图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。通常采用灰度直方图修改技术进行图像增强。图像的灰度直方图是表示一幅图像灰度分布情况的统计特性图表，与对比度紧密相连。如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。 (2)图像的平滑
机器视觉-图像处理-计算机视觉-边缘计算实验室建设方案
机器视觉-图像处理-计算机视觉-边缘计算实验室建设方案
目录 1机器视觉-图像处理-计算机视觉-边缘计算实验室 ................................. - 3 - 1.1总体规划............................................................ - 3 - 1.2实验设备............................................................ - 3 - 1.2.1机器视觉教学平台................................................ - 3 - 1.2.2智能监控实训平台............................................... - 19 -
1机器视觉-图像处理-计算机视觉-边缘计算实验室 1.1总体规划 机器视觉-图像处理-计算机视觉-边缘计算实验室主要用于对机器视觉与图像处理、计算机视觉、图像处理、边缘计算等核心课程的知识点学习，能够服务于相关课程的实验和实训需求。 核心课程主要针对学科基础技术的培养，掌握对机器视觉与图像处理、计算机视觉、图像处理、边缘计算的配置、维护和开发，接入等知识。 核心课程采用全模块化的教学产品进行实验，具备优良的教学实验特性：全模块化的设计、开放式的硬件接口、开源的实验代码、完整的教学资源、贴心的售后服务。 1.2实验设备 1.2.1机器视觉教学平台 AI机器视觉教学平台（AI-HNP）是中智讯公司开发的一款面向人工智能相关专业的综合型实验设备，主要满足：Python程序设计、机器视觉、嵌入式Linux系统、边缘计
计算机视觉和图像理解毕业论文
计算机视觉和图像理解毕业论文 1.导言 在社会机器人的新兴领域，人类–机器人相互作用通过手势是一个重要的研究课题。人类进行交际的手势中，指向手势的互动与机器人特别有趣。他们开放的直观指示对象和位置的可能性，是特别有用的机器人的命令。指向手势也可结合语音识别指定的口头述和位置参数，还提供了一个明确的输入语音识别时发生歧义。这种类型的一个例子的情况是指向手势引导机器人到一个特定的对象或使用地点。机器人必须能够检测的指向手势和估计目标位置，从而指出，主要的问题出现，有关最近在这一领域的研究视野[1–4,8]。一些最重要的挑战是相关的实时计算，得到的精度和运行在困难的杂乱环境可能遮挡，光照和不同的背景。另一个共同的要求是，指向手势必须认识到，无论规模大小，大指向手势是指进行全臂延伸而小的指向手势只减少前臂和手的运动[ 3,4 ]。 基于这一事实，对于大多数应用程序，它是指目标而不是实际的指向，这是非常重要的，我们制定了一个新的方法，与现有的指向手势识别的方法，也考虑到可能指出目标位置的先验信息。假设的指示语的手势，最常见的类型例如，一个涉及食指指向对象的利益和用户的目光指向同一目标[ 5,6 ] 我们制定我们的方法使用单眼设置高精度跟踪下飞机头部旋转，同时识别手指的手势。这两种输入流被组合在一起推导出指向目标使用的配方是基于Dempster-Shafer理论的证据[7]。一种区别我们的方法来自使用相机基本的方法，多数使用立体声或多摄像机设置。然而，本文的主要容在于基于Dempster-Shafer理论输入端的组合，让该方法在一种或两种输入数据流丢失的情况下能妥善处理（例如手指向的来自遮挡了的可见光）；也就是，使用的输入的信号缺乏，实现了令人印象深刻的结果，这是当代概率融合方法不可能得到的来源[1,8]。此外，本文所提出的制定的信念被分配到设置尖锐的目标而不是个人提出的目标。Dempster的组合规则有助于这些信念相结合，而不需要将他们的个人目标的分别观测指出，假如没有明确的建议。在下面的章节中对相关工作（第2节）和提出的方法（第3节）进行了论述。手指的手势识别的简要讨论在第4节而人脸姿势识别在第5节进行了阐述。人脸姿态和手指的融合，是本文的重点，在第6节进行了分析。在模拟环境下的实验结果及其使用的地面真实数据的结果在第7节。本文的结论与讨论在第8节。 2相关的工作 手势识别的研究近年来受到越来越多的关注，也超越了人类–机器人互动的区域，例如在情感计算和身临其境的游戏技术。第一次尝试解决手势解读导致的机械装置，直接测量手或手臂的关节角度和空间位置，所谓的手套设备[ 9 ]。随着计算机视觉技术及快速处理器可用性的最新研究进展，在基于视觉的非接触式接口增加了可穿戴设备，克服阻碍缓解作用的弊端。最近基于视觉的手势识别技术作了较全面的介绍[ 11 ]而且大部分的努力都集中在手势识别[12,6]以及手语翻译[ 13,14 ]。
基于opencv对图像的预处理
基于opencv对图像的预处理 1.问题描述 本次设计是基于opencv结合c++语言实现的对图像的预处理，opencv是用于开发实时的图像处理、计算机视觉及模式识别程序；其中图像的预处理也就是利用opencv对图像进行简单的编辑操作；例如对图像的对比度、亮度、饱和度进行调节，同时还可以对图像进行缩放和旋转，这些都是图像预处理简单的处理方法；首先通过opencv加载一幅原型图像，显示出来；设置五个滑动控制按钮，当拖动按钮时，对比度、亮度、饱和度的大小也会随之改变，也可以通过同样的方式调节缩放的比例和旋转的角度，来控制图像，对图像进行处理，显示出符合调节要求的图像，进行对比观察他们的之间的变化。 2.模块划分 此次设计的模块分为五个模块，滑动控制模块、对比度和亮度调节模块、饱和度调节模块、缩放调节模块、旋转调节模块，他们之间的关系如下所示：比和缩旋 用 调 用 用 调 用 调 调
图一、各个模块关系图 滑动控制模块处于主函数之中，是整个设计的核心部分，通过createTrackbar创建五个滑动控制按钮并且调用每个模块实现对图像相应的调节。 3.算法设计 （1）滑动控制： 滑动控制是整个设计的核心部分，通过创建滑动控制按钮调节大小来改变相应的数据，进行调用函数实现对图像的编辑，滑动控制是利用createTrackbar()，函数中包括了滑动控制的名称，滑动控制显示在什么窗口上，滑动变量的地址和它调节的最大围，以及每个控制按钮应该调用什么函数实现什么功能； （2）对比度和亮度的调节： 对比度和亮度的调节的原理是依照线性理论，它的公式如下所示：g(x)=a* f(x) +b，其中f(x)表示源图像的像素，g(x)表示输出图像的像素，参数a（需要满足a>0）被称为增益（gain），常常被用来控制图像的对比度，参数b通常被称为偏置（bias），常常被用来控制图像的亮度； （3）饱和度的调节： 饱和度调节利用cvCvtColor( src_image, dst_image, CV_BGR2HSV )将RGB 颜色空间转换为HSV颜色空间，其中“H=Hue”表示色调，“S=Saturation”表示饱和度，“V=Value ”表示纯度；所以饱和度的调节只需要调节S的大小，H和V的值不需要做任何的改变； （4）旋转的调节： 旋转是以某参考点为圆心，将图像的个点（x，y）围绕圆心转动一个逆时针角度θ，变为新的坐标（x1,y1）,x1=rcos(α+θ)，y1=rsin(α+θ)，其中r是图像的极径，α是图像与水平的坐标的角度的大小； （5）缩放的调节： 首先得到源图像的宽度x和高度y，变换后新的图像的宽度和高度分别为x1和y1，x1=x*f，y1=y*f，其中f是缩放因子；
机器视觉与计算机视觉的区别
简单区分： ?学科： 机器视觉作为一门系统工程"学科"，有别于计算机视觉，是计算机科学基础的一种形式; 计算机视觉属于计算机"科学"，涉及到从图像中提取信息的人工系统背后的理论,她跨学科。 ?领域： 机器视觉是计算机视觉在工厂自动化中的应用，传统的机器视觉主要应用于工业领域，计算机视觉不限于工业领域。 从狭义的视觉系统角度出发，计算机视觉属于机器视觉系统的一部分。 ?信息处理程度： 机器视觉主要是提取信息，计算机视觉提取并理解信息（定义区分） ?软硬件 机器视觉系统中一定包含硬件。计算机视觉系统中不一定包含硬件，偏算法。 详细： 一. 定义 A.机器视觉：Machine vision(MV) 维基百科：“机器视觉一词的定义各不相同，但都包括用于自动从图像中提取信息的技术和方法。”它与图像处理相反，图像处理的输出是另一幅图像。提取的信息可以是简单的好部分/坏部分信号，也可以是一组复杂的数据，比如图像中每个对象的id、位置和方向。该信息可用于工业上的自动检测、机器人和过程制导、安全监控和车辆制导等应用。这一领域包括大量的技术、软件和硬件产品、综合系统、行动、方法和专门知识。在工业自动化应用中，机器视觉实际上是这些功能的唯一术语; B.计算机视觉：Computer vision(CV) 维基百科：”计算机视觉是指从一张图像或一系列图像中自动提取、分析和理解有用信息。它涉及到理论和算法基础的发展，以实现自动视觉理解。“它是一个跨学科的科学领域，研究如何使计算机从数字图像或视频中获得高层次的理解。从工程学的角度来看，它试图自动化人类视觉系统能够完成的任务。 二.应用 机器视觉 1. 半导体 机器视觉系统在半导体器件制造中有着广泛的应用;事实上，如果没有机器视觉，计算机芯片的产量将会显著降低。机器视觉系统检查硅片、处理器芯片以及电阻和电容等子组件。 2. 汽车工业 机器视觉系统用于引导工业机器人，测量冲压金属部件的配合程度，并检查涂漆车辆的表面是否有缺陷。 3. 军事 虽然机器视觉技术是针对可见光谱开发的，但同样的处理技术也可应用于使用对其他形式的光(如红外线)敏感的成像仪拍摄的图像。
openCV的图像处理计算机视觉学习笔记-图像平滑模糊
图像模糊/图像平滑 In [2]: from imutils import* In [3]: image = imread('image.jpg') show(image) Averaging平均 计算卷积框覆盖区域所有像素的平均值得到卷积的结果[[1 1 1 1 1] [1 1 1 1 1] [1 1 1 1 1] [1 1 1 1 1] [1 1 1 1 1]]
In [5]: kernelsizes = [(3,3),(9,9),(15,15)] plt.figure(figsize=(15,15)) for i,kernel in enumerate(kernelsizes): plt.subplot(1,3,i+1) # 平均平滑 blur = cv2.blur(image, kernel) # 不显示坐标 plt.axis('off') # 设置标题 plt.title('Blurred'+str(kernel)) plt.imshow(blur) plt.show()
图像预处理综述
《计算机视觉技术》作业 图像预处理综述 在图像信息输入系统获取原图像的过程中，由于所通过的传输介质的实际性能和接收设备性能的限制,不可避免地存在着外部干扰和内部干扰，因此所获得的图像通常都含有各种各样的噪声和畸变，大大影响了图像的质量。因此，在对图像进行分析之前，必须先对图像质量进行改善，通常采用图像增强的方法。 图像增强作为一种预处理技术，能使处理后的图像比原图像更适合于参数估计、图像分割和目标识别等后续图像分析工作。它不会考虑引起图像质量下降的原因，而是将图像中感兴趣的特征有选择的突出，并衰减不需要的特征。其主要目的有两个：一是改善图像的视觉效果，去除噪音，提高图像成分的清晰度；二是使图像变得更有利于计算机处理。因此,图像增强技术的研究是图像处理、计算机视觉和模式识别中的一项重要内容。 图像增强的方法一般分为空间域和变换域两大类。空间域方法通常都是先求取图像的灰度直方图，对灰度直方图处理后，求得映射函数，将原图像进行灰度映射。该类方法适用于对灰度级动态范围的控制，计算量较小，其中常用的是直方图均衡方法(HE)和平台直方图均衡方法(PE)，具有一定的自适应性；而变换域方法是在图像的某个变换域中对变换系数进行处理，然后通过逆变换获得增强图像。直方图均衡化算法和降噪滤波法是图像增强空间域法中最常用的算法。 1 直方图均衡化算法 图像直方图均衡化是图像预处理中一种十分重要的分析工具，它能够反映数字图像的概貌性描述。例如：图像的灰度范围，灰度的分布，整幅图像的平均亮度和阴暗对比度等。直方图均衡化也叫直方图均匀化，就是把给定图像的直方图分布改变成均匀分布的直方图，它是一种比较常用的灰度增强算法。直方图有以下特点： 1) 直方图是一幅图像中各像素灰度出现频次的统计结果，它只反映图像中不同灰度值出现的次数，而不反映某一灰度所在的位置。 2) 任何一幅图像，都有惟一确定的与它对应的直方图，但不同的图像可能有相同的直方图。 3) 由于直方图是对具有相同灰度值的像素统计得到的，因此，一幅图像各子区的直方图之和就等于该图像全图的直方图。 直方图均衡化是把原始图像的直方图变换成均匀分布的形式，是以累计变换函数分布为基础的，从而产生一幅灰度级分布具有均匀概率密度的图像。它以概率理论作基础，运用灰度点运算来实现直方图的变换，从而达到图像增强的目的。 直方图均衡化算法如下: (1) 计算原始图像的所有灰度级k s ,0,1, ,1k L =-; (2) 统计原始图像各灰度级的像素数k n ; (3) 计算原始图像的直方图: ()()0,1,,1k k p k L n n s ==- (4) 计算原始图像的累计直方图：
计算机视觉与图像处理
基于SURF算法人脸检测识别跟踪技术的研究 项有元 （上海大学机电工程与自动化学院，上海200072） 摘要：人脸检测识别跟踪技术已经成为机器人视觉研究领域的热点问题。基于SURF的特征提取与匹配算法对处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力，而且速度较快。本文主要介绍SURF 算法的基本原理，并将该算法与层叠分类器相结合，应用于人脸检测识别中，然后运用OPencv的函数库进行编程，在实验室中采用XBox360视觉传感器kinect采集图像,检测人脸得到了很好的实验效果。实验证明：SURF算法对人脸尺寸变化、旋转，光照变化都有很强的鲁棒性。 关键词：SURF；层叠分类器；人脸检测 Research on Face Detecting Recognition and Tracking Technique Based on SURF Algorithm XIANG You-yuan (School of Mechanical and Electrical Engineering and Automation, Shanghai University, Shanghai 200072, China) Abstract: Face detection recognition tracking technology has become a hotspot in the field of robot vision research. The algorithm which based on the SURF of feature extraction and matching can deal with translation, rotation, affine transformation of matching problem that happened between two images , and has a strong ability to match, and the speed is fast. This paper mainly introduces the basic principle of SURF algorithm, and the combination of application of the algorithm and the cascade classifier in face detection recognition, and then use OPencv function library for programming .At last,it uses XBox360 visual sensor kinect to collect image in the laboratory, and can get a good experimental result.This experimental proof: that SURF algorithm has a strong robustness in face size changing, rotation, illumination changing. Key words: SURF; Cascade Classifier; Face Detecting
机器视觉与计算机视觉的区别
图像处理和计算机视觉有很大的关联性，所以你在搜技术文章的时候，可能这两个关键词你 都可以试一试。他们的区别在于，图像处理侧重在“处理”图像：如增强，还原，去噪，分割， 等等；而计算机视觉在于使用计算机（也许是可移动式的）来模拟人的视觉，因此模拟才是计 算机视觉领域的最终目标。要实现这个目标，至少有两件事要做，第一是图像处理，第二是图 像理解。比如一个机器人眼睛读入的数据可能是模糊的，可能是有噪声的，那么首先要进行去 噪和还原。之后机器人要能理解这个图像意味着什么，比如特定的军事目标，那么它可能要进 行分割，然后用统计学的方式进行模式识别。显然识别这个部分就属于图像理解，而非单纯的 图像处理了。 图像处理，针对图像本身进行一些处理，这里可以是工业、医疗、娱乐、多媒体、广告等 多个行业的，如常见的Photoshop也是图像处理软件，使用此软件从事相关工作的人也是 图像处理人员。其它行业也有类似的效果，即将原始图像，通过一些算法、技术、手段等，转换成用户自己认为理想的图像，即把图像给处理了。 计算机视觉，或者说是机器视觉（计算机视觉与机器视觉略有不同，不过更相近），则类 似于人类的视觉效果，只不过是用到了机器、计算机上。这其中，大部分的机器视觉，都 包含了图像处理的过程，只有图像处理过后，才能找到图像中需要的特征，从而更进一步 的执行其它的指令动作，如机械手臂的运动、机台的移动等，这些应用在大学里主要表现 在机器人上，如机器人踢球、下棋等，在工业上，则主要应用于工业机器人，完成自动生产、装配、检测等工作，富士康就有大量的机器人，在农业上，则表现在一些自动收割机，如棉花收割，自动分类机器。 当然也有一些机器视觉是不需要图像处理的，如经过相机镜头等直接连接到显示器上观察的，结果好坏是由人来判断的，这时图像处理的过程是由人自己完成的，而不是计算机。 还有一些图像传感器有固定的特性，如颜色传感器，那样只会有信号出来即可，也是没有 图像处理的。 计算机视觉，一定是包含计算机的，而机器视觉，则不一定需要计算机，可以是智能相机，也可以是图像传感器，当然也可以使用计算机完成。