计算理论_计算复杂性_2016
理解计算机中的计算理论与复杂性
理解计算机中的计算理论与复杂性计算机中的计算理论与复杂性计算理论是计算机科学的重要分支之一，它研究计算过程的本质和性质，为计算机科学提供了理论基础。
而复杂性理论则研究计算问题的复杂性，即问题的难解程度。
在计算机发展的不断推动下，计算理论与复杂性的研究越发重要。
本文将从计算理论和复杂性两个方面对相关概念和研究进行介绍和探讨。
一、计算理论计算理论是计算机科学中关于计算概念和过程的研究。
它主要分为可计算性理论和形式语言与自动机理论两大部分。
1. 可计算性理论可计算性理论研究的是什么问题可以用计算机算出，以及如何判断一个问题是否可计算。
它的核心思想是“图灵机”，即由英国数学家图灵提出的一种理论模型，用于描述计算过程。
可计算性理论的研究对象包括了函数的计算性、计算问题是否可判定、可计算函数的分类等。
2. 形式语言与自动机理论形式语言与自动机理论研究的是描述和处理信息的形式化语言和自动机模型。
形式语言的研究对象包括了正则语言、上下文无关语言和上下文敏感语言等。
而自动机模型则包括了有限状态自动机、下推自动机和图灵机，用于描述和处理形式语言。
二、复杂性理论复杂性理论是研究计算问题的复杂性的学科。
它关注的是问题的求解难易程度，即问题的复杂性。
复杂性理论主要分为计算复杂性理论和各类计算问题的复杂性。
1. 计算复杂性理论计算复杂性理论研究的是计算问题的复杂性度量和分类。
其中最具代表性的是时间复杂性和空间复杂性。
时间复杂性研究的是计算问题在计算时间上的耗费，空间复杂性研究的是计算问题在计算空间上的耗费。
常用的时间复杂性度量是“大O记号”，用于表示问题在最坏情况下的耗时增长趋势。
2. 计算问题的复杂性计算问题的复杂性研究的是不同类型问题的复杂性分类以及它们之间的关系。
其中最经典的研究是关于P类问题和NP类问题的划分。
P 类问题指的是可以在多项式时间内求解的问题，而NP类问题指的是可以在多项式时间内验证的问题。
复杂性理论的研究则主要集中在P与NP问题之间的关系。
计算复杂性理论
计算复杂性理论计算复杂性理论是计算机科学中重要的一个分支，它研究了计算问题的难度和可解性。
通过对问题的复杂性进行分析和分类，计算复杂性理论为我们提供了解决问题的指导原则和限制条件。
本文将介绍计算复杂性理论的基本概念、主要研究内容以及其在实际应用中的重要性。
一、基本概念1. P和NP问题在计算复杂性理论中，最基本的概念是P问题和NP问题。
P 问题是指可以在多项式时间内解决的问题，即存在一个算法可以在多项式时间内给出问题的正确答案。
而NP问题则是指可以在多项式时间内验证答案的问题，但尚未找到多项式时间内解决的算法。
P问题是NP问题的子集，即所有的P问题也是NP问题，但目前尚不清楚P问题和NP问题是否是相同的类。
2. NP完全性NP完全性是计算复杂性理论中的一个关键概念，它指的是一类最困难的NP问题。
一个问题被称为是NP完全的，如果它既是一个NP问题，又满足以下条件：对于任何一个NP问题，都可以用多项式时间的算法将其约化为该问题。
换句话说，如果我们能够找到一个多项式时间算法来解决一个NP完全问题，那么我们也可以用同样的算法来解决所有的NP问题。
3. NP难度除了NP完全性概念，计算复杂性理论还引入了NP难度的概念。
一个问题被称为是NP难度的，如果对于任何一个NP问题，都可以用多项式时间的算法将其约化为该问题。
虽然NP难度问题不一定是NP问题，但它们和NP完全问题一样，都是十分困难的问题。
二、主要研究内容1. 多项式时间算法计算复杂性理论的一个主要研究内容是寻找和分析多项式时间算法。
多项式时间算法是指可以在多项式时间内解决的算法，即其执行时间与输入规模呈多项式关系。
研究多项式时间算法的目标是寻找高效的解决方法，从而提高问题的可解性。
2. 算法复杂性分析算法复杂性分析是计算复杂性理论中的另一个重要内容。
通过对算法的复杂性进行全面的分析，我们可以预测算法在实际应用中的性能表现。
算法复杂性分析的主要方法包括时间复杂性分析和空间复杂性分析，通过对算法的时间和空间需求进行测量和评估，我们可以判断算法在给定条件下的可行性和效率。
计算复杂性
计算复杂性
计算复杂性理论是理论计算机科学的分支学科，使用数学方法对计算中所需的各种资源的耗费作定量的分析，并研究各类问题之间在计算复杂程度上的相互关系和基本性质，是算法分析的理论基础。
和可计算性一样，复杂性总是对于一个特定的问题类来讨论的，它包括无穷多个个别问题，有大有小。
例如，对矩阵乘法这样一个问题类，相对地说，100阶矩阵相乘是个大问题，而二阶矩阵相乘就是个小问题。
可以把矩阵的阶n作为衡量问题大小的尺度。
又如在图论问题中，可以把图的顶点数n作为衡量问题大小的尺度。
一个问题在计算之前，总要用某种方式加以编码，这个编码的长度n就是衡量问题大小的尺度。
当给定一个算法以后，计算大小为n的问题所需要的时间、空间等就可以表示为n的函数。
这个函数就可作为该算法的时间或空间复杂性的度量。
严格地讲，是这个特定的问题类在某一特定计算模型中某一特定算法的复杂性之度量。
当要解决的问题越来越大时，时间、空间等资源耗费将以什么样的速率增长，即当n趋向于无穷大时，这个函数的性状如何，增长的阶是什么，这就是计算复杂性理论所要研究的主要问题。
计算复杂性的概念
Network Optimization
第 1 章
概 论
1.4 计算复杂性的概念
1
1.4.1 组合优化问题 1、定义
定义1.3 所谓组合(最)优化(Combinatorial Optimization)又称离散优 化（Discrete Optimization），它是通过数学方法去寻找离散事件的 最优编排、分组、次序或筛选等. 这类问题可用数学模型描述为：
15
1.4.3 多项式问题
定义1.5 对于给定的一个优化问题，若存在一个求解该问题
最优解的多项式时间算法，则称给定的优化问题是多项式可 解问题，或简称多项式问题，所有多项式问题集记为 P(Polynomial).
同样道理, 可以定义强多项式问题,伪多项式问题等.
16
布置作 业
目的 掌握图与网络的基本概念
2 | S | n 2 , S {1, 2 , , n }
x ij { 0 , 1}, i , j 1, 2 , , n , i j .
D= {0,1}n×(n-1)
4
例1.9 整数线性规划(Integer Linear Programming)
m in c x
(ILP)
a s 0 , a i {0 , 1} 。
正整数 x 输入长度的估计：
由不等式 2 s
2
lo g 2 x
x 2
s1
2
lo g 2 x 1
，可得：
log 2 x s 1 log 2 x 1
.
故，数 x 的二进制输入的位数为 s 1 lo g 2 x 或 lo g 2 x 1 。
第一讲：计算复杂性理论
大多数研究者认可 的包容关系
L m
计算复杂度的影响因素
简化模型：模型2
计算复杂度的影响因素
简化模型：模型3。
计算复杂度的影响因素
建模假设 例：高空抛球的运动轨迹。 ----抛物线模型 假设1.没有空气阻力； 假设2.地面是平面。 ----椭圆模型
计算复杂度的影响因素
探索空间1 探索空间1---解的近似度、满意度
例：0—10之间的整数解：1-9共9个可行解（一维） 0—10之间的实数解：精确到小数点后6位 共有107个可行解（一维）； 107n个可行解（n维）
n! 10141世紀 → 10120世紀 102551世紀 → 102530世紀
问题与算法
每个問題都可能有多个算法存在． 每个算法的计算量（速度）都不同。 例： 赝品金币問題： 问题：9個外观完全一样的金币.，有一个是假的 （重量轻）． 提问：用天秤来鉴别真伪，天秤需要使用几次？
贋品金币問題算法 問題算法
优化技术与方法
計算量(1) 計算量
＋,－,×,÷ 比較：≠，≤，≥，＜，＞ 5种基本演算都是用1step 可以实现. 実際上,×比＋多占用時間. 「四舍五入」不算基本演算.
計算量(2) 計算量
｛a1, a2,..., an｝：n個整数 Q1. 求和（1）： a1+a2+･･･+an. 1 + +a n-1 steps → O(n)算法. Q2. 求和（2）： (1) 2×a1+･･･+ 2×an , 2n-1 steps→ O(n)算法. (2) 2×(a1+･･･+an) , n steps→ O(n)算法.
尚未确信能否用多項式時間算法求解的问题的 集合称为NP （non-deterministic polynomial）问题 某一个问题不属于NP问题的証明 如能够找到一个多項式時間算法 （簡単） 某一个问题属于NP问题的証明 可以归结为某一类既知的NP类问题（现阶段7类））
计算理论复杂性理论基础知识
计算理论复杂性理论基础知识计算理论复杂性是计算机科学中一项重要的研究领域，旨在研究计算问题的解决难度和算法的效率。
本文将介绍计算理论复杂性的基础知识，包括问题的分类、计算模型和基本概念。
一、问题的分类在计算理论复杂性中，问题可以分为两类：P类问题和NP类问题。
P类问题是可以在多项式时间内解决的问题，而NP类问题是可以在多项式时间内验证解的问题。
P类问题是计算理论中研究的主要对象，它代表了计算机科学界能够有效解决的问题。
例如，求两个数的和、排序问题等都属于P类问题。
NP类问题则代表了计算机科学界尚未找到高效解决方法的问题，它所包含的解的搜索空间非常大。
例如，旅行推销员问题、图着色问题等都属于NP类问题。
虽然目前还没有找到多项式时间内解决NP类问题的方法，但可以通过验证一个解是否正确来验证解的正确性。
二、计算模型计算理论复杂性研究中使用的计算模型主要有图灵机、非确定有限自动机和布尔电路模型。
图灵机是计算理论中最经典的计算模型之一，它由带有读写头的无限长纸带和一系列状态转移规则构成，可以模拟所有现代计算机的功能。
非确定有限自动机是另一种计算模型，它是图灵机的一种简化形式，特点是能够在某个状态下拥有多个可能的转移选项。
布尔电路模型是计算理论复杂性研究中较为特殊的一种计算模型，它通过使用与门、或门和非门等基本逻辑门来构建复杂的逻辑电路，从而解决特定的计算问题。
三、基本概念在计算理论复杂性研究中，有一些基本概念是必须了解的，包括计算问题的规模、算法的时间复杂度和空间复杂度等。
计算问题的规模指的是问题输入的大小。
例如，排序问题的规模可以是待排序数组的长度。
算法的时间复杂度是衡量算法执行所需时间的度量，通常用大O符号表示。
时间复杂度越低，表示算法的效率越高。
算法的空间复杂度是衡量算法所需内存空间的度量，也用大O符号表示。
空间复杂度越低，表示算法的内存利用率越高。
此外，还有一些复杂性理论中的重要问题，如P=NP问题、NP完全问题等，这些问题都是该领域中的研究热点。
计算机科学中的计算复杂性理论
计算机科学中的计算复杂性理论计算复杂性理论是计算机科学中的一个重要分支，研究的是计算问题的算法复杂性和计算机问题的可解性。
它帮助我们理解计算问题是否有高效的解决方法，为设计和分析算法提供了基础。
一、引言计算复杂性理论涉及到算法的效率和计算问题的可解性，对计算机科学和信息技术具有重要意义。
本文将首先介绍计算复杂性理论的起源和发展，然后重点讨论几个计算复杂性理论中的重要概念和问题。
二、计算复杂性理论的起源和发展计算复杂性理论起源于20世纪60年代，由对计算问题的可解性进行研究逐渐演化而来。
该理论的研究者，如图灵奖得主阿隆佐·邱奇、史蒂芬·库克等，提出了多个理论模型和概念，奠定了计算复杂性理论的基础。
三、计算复杂性理论的重要概念1. P问题和NP问题在计算复杂性理论中，P问题指的是可以在多项式时间内解决的问题，而NP问题则是指可以在多项式时间内验证给定解是否正确的问题。
其中，P问题是NP问题的一个子集，即P⊆NP。
2. NP完全性NP完全性是计算复杂性理论中的一个重要概念。
一个问题是NP完全的，意味着它是NP问题中最难的一类。
如果我们能够找到一个多项式时间内解决NP完全问题的算法，那么可以得出P = NP的结论，这是计算机科学中的一个重大问题。
3. 计算复杂性度量计算复杂性理论通过引入时间复杂性和空间复杂性度量来衡量算法的效率。
其中，时间复杂性度量算法执行所需的时间步数，空间复杂性度量算法所需的存储空间。
这些度量帮助我们选择具有高效率的算法，提高计算问题的解决速度。
四、计算复杂性问题的研究方法计算复杂性理论研究问题的方法主要有两种：证明方法和求解方法。
证明方法通过证明某个问题是NP完全的来研究问题难度；而求解方法则是通过设计高效的算法来解决问题。
1. 证明方法证明方法是计算复杂性理论中常用的方法之一，它使用约简技术将一个已知的NP完全问题转化为待研究问题，从而证明待研究问题也是NP完全的。
计算理论_计算复杂性_2016
一些P问题
有些问题初看起来不属于P 求最大公因子: 欧几里德算法, 辗转相除法 模p指数运算ab mod p 素性测试 等等 以增加空间复杂性来减小时间复杂性 上下文无关语言 有O(n3)判定器
快速验证
HP = {<G,s,t>|G是包含从s到t的 哈密顿路径的有向图} CLIQUE={<G,k>|G是有k团的无向图} 目前没有快速算法,但其成员是可以快速验证的. 注意:HP的补可能不是可以快速验证的. 快速验证的特点: 1. 只需要对语言中的串能快速验证. 2. 验证需要借助额外的信息:证书,身份证.
3SAT = { <> | 是可满足的3cnf }
清洗算法对3cnf是否有效? 举例对比:
(x3x3)(x1x2)(x1x2)(x1x2)(x1x2)
(x3x3)(x3x1x2)(x3x1x2)(x3x1x2)(x3x1x2)
{0k1k|k0}TIME(nlogn)
由图灵机M2知道ATIME(n log n) 有没有更快的图灵机识别A? 对于单带确定图灵机, 由 定理: 时间o(nlogn)的单带图灵机判定的语言 是正则语言. TIME(o(nlogn)) 正则语言类 TIME(n) 正则语言类 = TIME(n) = TIME(o(nlogn)) 非正则语言 {0k1k | k0}TIME(o(nlogn))
子句个数水平行除两端的两个节点外有3k1个节点每个子句对应一对节点共2k个用分隔节点隔开k1个称这种路径为正规路径可满足g有如下从s到t哈密顿路径从上至下赋值1的变量左右式通过钻石赋值0的变量右左式通过钻石选一真文字经过一次称这种路径为正规路径从上至下赋值1的变量左右式通过钻石赋值0的变量右左式通过钻石选一真文字经过一次称这种路径为正规路径则公式可满足右边正规路径对应x则公式可满足右边正规路径对应xg是有从s到t哈密顿路径的有向图uhpg是有从s到t哈密顿路径的无向图证明
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
后者若按x3=1继续清洗会得到错误结论
3cnf用清洗算法需x3=1和=0都搜索到, 指数时间. 目前还不知道3SAT是否属于P.
多项式时间映射归约与C-L定理
• Cook-Levin定理: SATP P=NP. • 定义:多项式时间可计算函数f:**.
• 定义:称A可多项式时间映射归约到B (APB),
{0k1k|k0}的O(n)时间双带图灵机
R └┘ R └┘
ቤተ መጻሕፍቲ ባይዱ
0 R └┘ R
1 R L └┘
q0
0 0 R $ R └┘
q1
1 R L └┘
q2
└┘
R $ L
qa
NTM的运行时间
定义: 对非确定型判定器N, 其运行时间f(n)是 在所有长为n的输入上, 所有分支的最大步数.
TM NTM
f(n)
. . .
. . . . . .
. . .
{0k1k|k0}TIME(nlogn)
由图灵机M2知道ATIME(n log n) 有没有更快的图灵机识别A? 对于单带确定图灵机, 由 定理: 时间o(nlogn)的单带图灵机判定的语言 是正则语言. TIME(o(nlogn)) 正则语言类 TIME(n) 正则语言类 = TIME(n) = TIME(o(nlogn)) 非正则语言 {0k1k | k0}TIME(o(nlogn))
计算理论与 算法分析设计
刘庆晖
教材:
[1][王] 王晓东,计算机算法设计与分析(第4版),电子工业. [2][S] 唐常杰等译, Sipser著, 计算理论导引, 机械工业. 参考资料: [3][C] 潘金贵等译, Cormen等著, 算法导论, 机械工业.
[4][M] 黄林鹏等译, Manber著, 算法引论-一种创造性方法, 电子.
对于函数f,g:NR+, 记f(n)=O(g(n),若存在c>0使得
f ( n) lim c n g ( n )
记f(n)=o(g(n)),若 f ( n) lim 0 n g ( n )
分析算法
讨论语言A = { 0k1k | k0 }的复杂性: M1=“对输入串w: 1)扫描带,如果在1的右边发现0,则拒绝. 2)如果0和1都在带上,就重复下一步. 3) 扫描带,删除一个0和一个1. 4)如果带上同时没有0和1,就接受.” 时间分析: (1) 2n=O(n), 4) n=O(n), { (2) 2n=O(n) + (3) 2n=O(n) } (n/2) = O(n2) 所以M1的运行时间是O(n2).
[5][刘] 刘汝佳等, 算法艺术与信息学竞赛, 清华大学. [6][L] Lewis等著, 计算理论基础, 清华大学.
计算理论 第三部分 计算复杂性
第7章 时间复杂性 1. 时间复杂性 { 0k1k | k0 }的时间复杂性分析 2. 不同模型的运行时间比较 单带与多带 确定与非确定 3. P类与NP类 4. NP完全性及NP完全问题
一些P问题
有些问题初看起来不属于P 求最大公因子: 欧几里德算法, 辗转相除法 模p指数运算ab mod p 素性测试 等等 以增加空间复杂性来减小时间复杂性 上下文无关语言 有O(n3)判定器
快速验证
HP = {<G,s,t>|G是包含从s到t的 哈密顿路径的有向图} CLIQUE={<G,k>|G是有k团的无向图} 目前没有快速算法,但其成员是可以快速验证的. 注意:HP的补可能不是可以快速验证的. 快速验证的特点: 1. 只需要对语言中的串能快速验证. 2. 验证需要借助额外的信息:证书,身份证.
HP={<G,s,t>|G是包含从s到t的 哈密顿路径的有向图} P时间内判定HP的NTM: N1=“对于输入<G,s,t>: 1)非确定地选G的所有节点的排列p1,…pm. 2)若s=p1,t=pm,且对每个i, (pi,pi+1)是G的边, 则接受;否则拒绝.”
P与NP
P=成员资格可以快速判定的语言类. NP=成员资格可以快速验证的语言类. 显然有 PNP 但是否有 P=NP ? 看起来难以想象, 但是现在没有发现反例. NP P 当代数学与 理论计算机 共同的难题.
可满足问题SAT
• 可满足性问题: SAT = { <> | 是可满足的布尔公式 }
• 二元可满足性问题:
2SAT = { <> | 是可满足的2cnf } • 三元可满足性问题: 3SAT = { <> | 是可满足的3cnf }
二元可满足问题2SATP
1. 当2cnf中有子句是单文字x, 则反复执行(直接)清洗 1.1 由x赋值, 1.2 删去含x的子句, 1.3 删去含x的文字 若清洗过程出现相反单文子子句, 则清洗失败并结束
若存在多项式时间可计算函数f:**, w*, wA f(w)B. 函数f称为A到B的多项式时间归约. 通俗地说: f 将A的实例编码转换为B的实例编码.
• Cook-Levin定理: 对任意ANP都有A P SAT.
• 定理1: 若 A P B, 且 BP, 则 AP.
P类
定义:P是单带确定TM在 多项式时间内可判定的问题,即 P = k TIME(nk) P类的重要性在于: 1) 对于所有与单带确定TM等价的模型,P不变. 2) P大致对应于在计算机上实际可解的问题. 研究的核心是一个问题是否属于P类.
NP类
NTIME(t(n))={L|L可被O(t(n))时间NTM判定.} 定义:NP是单带非确定TM在 多项式时间内可判定的问题,即 NP = k NTIME(nk) EXP = ∪k TIME(2^(nk)) P NP EXP P EXP
. . .
f(n)
定理: 设t(n)n, 则每个 时间t(n)NTM 都有一等价的 时间2O(t(n))TM.
接受/拒绝 NTIME(t(n)) TIME (2O(t(n)))
三. P与NP
多项式时间
运行时间相差多项式可以认为是小的 相差指数可以认为是大的. 例如:n3与2n,对于n=1000. 有关素性测试: Prime={ p | p是素数 } 如何编码? 一进制,二进制,十进制? 典型的指数时间算法来源于蛮力搜索. 有时通过深入理解问题可以避免蛮搜. 2001年Prime被证明存在多项式时间算法.
3SATNP
三元可满足性问题:
3SAT = { <> | 是可满足的3cnf }
P时间内判定3SAT的NTM:
N=“对于输入< >, 是一个3cnf公式,
1)非确定地选择各变量的赋值T.
2)若在赋值T下 =1, 则接受;否则拒绝.” 第2步在公式长度的多项式时间内运行.
3SATP?
P=NP
• NP完全性的定义 • SAT是NP完全问题 • 一些NP完全问题
NP完全性
Cook和Levin于70’s证明 NP中某些问题的复杂性与 整个NP类的复杂性相关联, 即: 若这些问题中的任一个找到P时间算法,则P=NP. 这些问题称为NP完全问题. 理论意义:两方面 1)研究P与NP关系可以只关注于一个问题的算法.
3SAT = { <> | 是可满足的3cnf }
清洗算法对3cnf是否有效? 举例对比:
(x3x3)(x1x2)(x1x2)(x1x2)(x1x2)
(x3x3)(x3x1x2)(x3x1x2)(x3x1x2)(x3x1x2)
一. 时间复杂度
• 时间复杂度定义 • { 0k1k | k0 }的时间复杂度分析
时间复杂性
• 判定器M的运行时间或时间复杂度是f:NN, f(n)是M在所有长为n的输入上运行的最大步数. • 若f(n)是M的运行时间, 则称 M在时间f(n)内运行 或 M是f(n)时间图灵机 举例:
大O与小o记法
输入w
f
f(w)
w*, wA f(w)B.
y/n 利用f和B的判定器 构造A的判定器
M
定理: 3SAT P CLIQUE
3SAT = {<> | 是可满足的3cnf公式 } CLIQUE = { <G,k> | G是有k团的无向图 }. 证明:设=(a1b1c1)…(akbkck),有k个子句. f() = <G,k>, G有k组节点,每组3个; 同组节点无边相连, 相反标记无边相连. f((x1x1x2)(x1x2x2)(x1x2x2)) = <G,3> x1 x 2 x2 x1 x1 x2 x1 x2 x2 需证:3SAT (G,k)CLIQUE
NP问题
团:无向图的完全子图(所有节点都有边相连). CLIQUE={<G,k>|G是有k团的无向图} 定理: CLIQUENP. N=“对于输入<G,k>,这里G是一个图: 1)非确定地选择G中k个节点的子集c. 2)检查G是否包含连接c中节点的所有边. 3)若是,则接受;否则,拒绝.”
哈密顿路径问题HPNP
2. 若无单文字子句, 则任选变量赋真/假值各(赋值)清洗一次 若两次都清洗失败, 则回答不可满足.
x3=1 (x5)(x4x5)(x4) (x4)(x4) 失败 x3=0 (x4)(x4x5) (x5) 成功
3. 若成功清洗后有子句剩下, 则继续2. 否则, 回答可满足. 注: 见[S]习题7.23, 作者给出的答案与清洗算法等价
(x1x2)(x3x2)(x1)(x1x2)(x3x4)(x3x5) (x4x5)(x3x4)
(x3x2)(x2)(x3x4)(x3x5) (x4x5)(x3x4) (x3x4)(x3x5) (x4x5)(x3x4)