Light-Front Realization of Chiral Symmetry Breaking
视网膜功能启发的边缘检测层级模型

视网膜功能启发的边缘检测层级模型郑程驰 1范影乐1摘 要 基于视网膜对视觉信息的处理方式, 提出一种视网膜功能启发的边缘检测层级模型. 针对视网膜神经元在周期性光刺激下产生适应的特性, 构建具有自适应阈值的Izhikevich 神经元模型; 模拟光感受器中视锥细胞、视杆细胞对亮度的感知能力, 构建亮度感知编码层; 引入双极细胞对给光−撤光刺激的分离能力, 并结合神经节细胞对运动方向敏感的特性, 构建双通路边缘提取层; 另外根据神经节细胞神经元在多特征调控下延迟激活的现象, 构建具有脉冲延时特性的纹理抑制层; 最后将双通路边缘提取的结果与延时抑制量相融合, 得到最终边缘检测结果. 以150张来自实验室采集和AGAR 数据集中的菌落图像为实验对象对所提方法进行验证, 检测结果的重建图像相似度、边缘置信度、边缘连续性和综合指标分别达到0.9629、0.3111、0.9159和0.7870, 表明所提方法能更有效地进行边缘定位、抑制冗余纹理、保持主体边缘完整性. 本文面向边缘检测任务, 构建了模拟视网膜对视觉信息处理方式的边缘检测模型, 也为后续构建由视觉机制启发的图像计算模型提供了新思路.关键词 边缘检测, 视网膜, Izhikevich 模型, 神经编码, 方向选择性神经节细胞引用格式 郑程驰, 范影乐. 视网膜功能启发的边缘检测层级模型. 自动化学报, 2023, 49(8): 1771−1784DOI 10.16383/j.aas.c220574Multi-layer Edge Detection Model Inspired by Retinal FunctionZHENG Cheng-Chi 1 FAN Ying-Le 1Abstract Based on the processing of visual information by the retina, this paper proposes a multi-layer model of edge detection inspired by retinal functions. Aiming at the adaptive characteristics of retinal neurons under periodic light stimulation, an Izhikevich neuron model with adaptive threshold is established; By simulating the perception ability of cones and rods for luminance and color in photoreceptors, the luminance perception coding layer is con-structed; By introducing the ability of bipolar cells for separating light stimulation, and combining with the charac-teristics of ganglion cells sensitive to the direction of movement, a multi-pathway edge extraction layer is constructed;In addition, according to the phenomenon of delayed activation of ganglion cell neurons under multi-feature regula-tion, a texture inhibition layer with pulse delay characteristics is constructed; Finally, by fusing the result of multi-pathway edge extraction with the delay suppression amount, the final edge detection result is obtained. The 150colony images from laboratory collection and AGAR dataset are used as experimental objects to test the proposed method. The reconstruction image similarity, edge confidence, edge continuity and comprehensive indicators of the detection results are 0.9629, 0.3111, 0.9159 and 0.7870, respectively. The results show that the proposed method can better localize edges, suppress redundant textures, and maintain the integrity of subject edges. This research is oriented to the task of edge detection, constructs an edge detection model that simulates the processing of visual information by the retina, and also provides new ideas for the construction of image computing model inspired by visual mechanism.Key words Edge detection, retina, Izhikevich model, neural coding, direction-selective ganglion cells (DSGCs)Citation Zheng Cheng-Chi, Fan Ying-Le. Multi-layer edge detection model inspired by retinal function. Acta Automatica Sinica , 2023, 49(8): 1771−1784边缘检测作为目标分析和识别等高级视觉任务的前级环节, 在图像处理和工程应用领域中有重要地位. 以Sobel 和Canny 为代表的传统方法大多根据相邻像素间的灰度跃变进行边缘定位, 再设定阈值调整边缘强度和冗余细节[1]. 虽然易于计算且快速, 但无法兼顾弱边缘感知与纹理抑制之间的有效性, 难以满足复杂环境下的应用需要. 随着对生物视觉系统研究的进展, 人们对视觉认知的过程和视觉组织的功能有了更深刻的了解. 许多国内外学者在这些视觉组织宏观作用的基础上, 进一步考虑神经编码方式与神经元之间的相互作用, 并应用于边缘检测中. 这些检测方法大多首先会选择合适的神经元模型模拟视觉组织细胞的群体放电特性, 再关联例如视觉感受野和方向选择性等视觉机制, 以不收稿日期 2022-07-14 录用日期 2022-11-29Manuscript received July 14, 2022; accepted November 29,2022国家自然科学基金(61501154)资助Supported by National Natural Science Foundation of China (61501154)本文责任编委 张道强Recommended by Associate Editor ZHANG Dao-Qiang1. 杭州电子科技大学模式识别与图像处理实验室 杭州 3100181. Laboratory of Pattern Recognition and Image Processing,Hangzhou Dianzi University, Hangzhou 310018第 49 卷 第 8 期自 动 化 学 报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023同的编码方式将输入的图像转化为脉冲信号, 经过多级功能区块处理和传递后提取出图像的边缘. 其中, 频率编码和时间编码是视觉系统编码光刺激的重要方式, 在一些计算模型中被广泛使用. 例如,文献[2]以HH (Hodgkin-Huxley)神经元模型为基础, 使用多方向Gabor滤波器模拟神经元感受野的方向选择性, 实现神经元间连接强度关联边缘方向,将每个神经元的脉冲发放频率作为边缘检测的结果输出, 实验结果表明其比传统方法更有效; 文献[3]在 LIF (Leaky integrate-and-fire) 神经元模型的基础上进行改进, 引入根据神经元响应对外界输入进行调整的权值, 在编码的过程中将空间的脉冲发放转化为时序上的激励强度, 实现强弱边缘分类, 对梯度变化幅度小的弱边缘具有良好的检测能力. 除此之外, 也有关注神经元突触间的相互作用, 通过引入使突触的连接权值产生自适应调节的机制来提取边缘信息的计算方法. 例如, 文献 [4] 构建具有STDP (Spike-timing-dependent plasticity) 性质的神经元模型, 根据突触前后神经元首次脉冲发放时间顺序来增强或减弱突触连接, 对真伪边缘具有较强的辨别能力; 文献 [5] 则在构建神经元模型时考虑了具有时间不对称性的STDP机制, 再融合方向特征和侧抑制机制重建图像的主要边缘信息, 其计算过程对神经元突触间的动态特性描述更加准确.更进一步, 神经编码也被应用于实际的工程需要.例如, 文献 [6]针对现有的红外图像边缘检测算法中存在的缺陷, 构建一种新式的脉冲神经网络, 增强了对红外图像中弱边缘的感知; 文献 [7] 则通过模拟视皮层的处理机制, 使用包含左侧、右侧和前向3条并行处理支路的脉冲神经网络模型提取脑核磁共振图像的边缘, 并将提取的结果用于异常检测,同样具有较好的效果. 上述方法都在一定程度上考虑了视觉组织中神经元的编码特性以及视觉机制,与传统方法相比, 在对复杂环境的适应性更强的同时也有较高的计算效率. 但这些方法都未能考虑到神经元自身也会随着外界刺激产生适应, 从而使活动特性发生改变. 此外, 上述方法大多也只选择了频率编码、时间编码等编码方式中的一种, 并不能完整地体现视觉组织中多种编码方式的共同作用.事实上, 在对神经生理实验和理论的持续探索中发现, 视觉组织(以视网膜为例)在对视觉刺激的加工中就存在着丰富的动态特性和编码机制[8−9]. 视网膜作为视觉系统中的初级组织结构, 由多种不同类型的细胞构成, 共同组成一个纵横相连、具有层级结构的复杂网络, 能够针对不同类型的刺激性选择相应的编码方式进行有效处理. 因此, 本文面向图像的边缘检测任务, 以菌落图像处理为例, 模拟视网膜中各成分对视觉信息的处理方式, 构建基于视网膜动态编码机制的多层边缘检测模型, 以适应具有多种形态结构差异的菌落图像边缘检测任务.1 材料和方法本文提出的算法流程如图1所示. 首先, 根据视网膜神经元在周期性光刺激下脉冲发放频率发生改变的特性, 构建具有自适应阈值特性的Izhikevich 神经元模型, 改善神经元的同步发放能力; 其次, 考虑光感受器对强弱光和颜色信息的不同处理方式编码亮度信息, 实现不同亮度水平目标与背景的区分;然后, 引入固视微动机制, 结合神经节细胞的方向选择性和给光−撤光通路的传递特性, 将首发脉冲时间编码的结果作为双通路的初级边缘响应输出;随后, 模拟神经节细胞的延迟发放特性, 融入对比度和突触前后偏好方向差异, 计算各神经元的延时抑制量, 对双通路的计算结果进行纹理抑制; 最后,整合双通路边缘信息, 将二者融合为最终的边缘检测结果.1.1 亮度感知编码层构建神经元模型时, 本文综合考虑对神经元生理特性模拟的合理性和进行仿真计算的高效性, 以Izhikevich模型[10]为基础构建神经元模型. Izhike-vich模型由Izhikevich在HH模型的基础上简化而来, 在保留原模型对神经元放电模式描述的准确性的同时, 也具有较低的时间复杂度, 适合神经元群体计算时应用, 其表达式如下式所示v thv th 其中, v为神经元的膜电位, 其初始值设置为 −70; u为细胞膜恢复变量, 设置为14; I为接收的图像亮度刺激; 为神经元脉冲发放的阈值, 设置为30; a描述恢复变量u的时间尺度, b描述恢复变量u 对膜电位在阈值下波动的敏感性, c和d分别描述产生脉冲发放后膜电位v的重置值和恢复变量u的增加程度, a, b, c, d这4个模型参数的典型值分别为0.02、0.2、−65和6. 若某时刻膜电位v达到,则进行一次脉冲发放, 同时该神经元对应的v被重置为c, u被重置为u + d.适应是神经系统中广泛存在的现象, 具体表现为神经元会根据外界的刺激不断地调节自身的性质. 其中, 视网膜能够适应昼夜环境中万亿倍范围的光照变化, 这种适应能够帮助其在避免饱和的同时保持对光照的敏感性[11]. 研究表明, 视网膜持续1772自 动 化 学 报49 卷接受外界周期性光刺激时, 光感受器会使神经元细胞的活动特性发生改变, 导致单个神经元的发放阈值上升, 放电频率下降; 没有脉冲发放时, 对应阈值又会以指数形式衰减, 同时放电频率逐渐恢复[12].因此, 本文在Izhikevich 模型的基础上作出改进,加入根据脉冲发放频率对阈值进行自适应调节的机制, 如下式所示τ1τ2τ1τ2v th τ1v th τ2其中, 和 分别为脉冲发放和未发放时阈值变化的时间常数, 其值越小, 阈值变化的幅度越大, 神经元敏感性变化的过程越快; 反之, 则表示阈值变化的幅度越小, 神经元敏感性变化的过程也就越慢.生理学实验表明, 在外界持续光刺激下, 神经元对刺激产生适应导致放电频率降低后, 这种适应衰退的过程比产生适应的过程通常要长数倍[13]. 因此,为了在准确模拟生理特性的同时保证计算模型的性能, 本文将 和 分别设置为20和40. 这样, 当某时刻某个神经元产生脉冲发放时, 则对应阈值 根据 的值升高, 神经元产生适应, 活跃度降低; 反之, 对应阈值 根据 的值下降, 神经元的适应衰退, 活跃度提升. 实现限制活跃神经元的脉冲发放频率, 促进不活跃神经元的脉冲发放, 改善神经元群体的同步发放能力, 减少检测目标内部冗余. 图2边缘检测结果图 1 边缘检测算法原理图Fig. 1 Principle of edge detection algorithm8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1773显示了改进前后的Izhikevich 模型对图像进行处理后目标内部冗余情况.0∼255为了规范检测目标图像的亮度范围, 本文将输入的彩色图像Img 各通路的亮度映射到 区间内, 如下式所示Img (;i )I (;i )其中, 和 表示经亮度映射前和映射后的R 、G 、B 三种颜色分量图像; max(·) 和min(·)分别计算对应分量图像中的最大和最小像素值.光感受器分两类, 分别为视锥细胞和视杆细胞[14], 都能将接收到的视觉刺激转化为电信号, 实现信息的编码和传递. 其中, 视锥细胞能够根据外界光刺激的波长来分解为三个不同的颜色通道[15].考虑到人眼对颜色信息的敏感性能有效区分离散目标与背景, 令图像中的每个像素点对应一个神经元,将R 、G 、B 三种颜色分量图像分别输入上文构建的神经元模型中, 在一定时间范围内进行脉冲发放,如下式所示fires (x,y ;i )其中, 为每个神经元的脉冲发放次数,函数Izhikevich(·)表示式(2)给出的神经元模型.视杆细胞对光线敏感, 主要负责弱光环境下的外界刺激感知. 当光刺激足够强时, 视杆细胞的感知能力达到饱和, 视觉系统转为使用视锥细胞负责亮度信息的处理[16]. 因此, 除了对颜色信息敏感外,视锥细胞对强光也有高度辨别能力. 考虑到作为检测对象的图像中, 目标与背景具有不同的亮度水平,本文构建一种综合视锥细胞和视杆细胞亮度感知能力的编码方法, 以适应目标与背景不同亮度对比的多种情况, 如下式所示I base I base (x,y )fires Res (x,y )其中, var(·) 计算图像亮度方差; ave(·) 计算图像亮度均值. 本文取三种颜色分量图像中方差最大的一幅作为基准图像 , 对于其中的像素值 ,将其中亮度低于平均亮度的部分设置为三种颜色分量脉冲发放结果的最小值, 反之设置为最大值, 最终得到模型的亮度编码结果 , 实现在图像局部亮度相对较低的区域由视杆细胞进行弱光感知, 亮度较高区域由视锥细胞处理, 强化计算模型对不同亮度目标和背景的区分能力, 凸显具有弱边缘的对象. 图3显示了亮度感知编码对存在弱边缘的对象的感知能力.1.2 基于固视微动的多方向双通路边缘提取层Img gray 人眼注视目标时, 接收的图像并非是静止的,而是眼球以每秒2至3次的微动使投射在视网膜上的图像发生持续运动, 不断地改变照射在光感受器上的光刺激[17]. 本文考虑人眼的固视微动机制,在原图像的灰度图像 上构建大小为3×3的微动作用窗口temp , 使窗口接收到的亮度信息朝8个方向进行微动, 如下式所示p i q i θi temp θi d x d y 其中, 和 是用于决定微动方向 的参数, 其值被设置为 −1、0或1, 通过计算反正切函数能够得到以45° 为单位、从0° 到315° 的8个角度的微动方向, 对应8个微动结果窗口 ; 和 分别表示水平和竖直方向的微动尺度; Dir 为计算得到(a) 原图(a) Original image (b) Izhikevich 模型(b) Izhikevich model (c) 改进的 Izhikevich 模型(c) Improved Izhikevich model图 2 改进前后的Izhikevich 模型对图像进行脉冲发放的结果对比图Fig. 2 Comparison of the image processing results of the Izhikevich model before and after improvement1774自 动 化 学 报49 卷Dir (x,y )的微动方向矩阵, 其中每个像素点的值为 ;sum(·) 计算窗口中像素值的和. 本文取每个微动窗口前后差异最大的方向作为该点的偏好方向, 分别用数字1 ~ 8表示.视网膜存在一类负责对运动刺激编码、具有方向选择性的神经节细胞 (Direction-selective gangli-on cells, DSGCs)[18]. 经过光感受器处理, 转化为电信号的视觉信息, 通过双极细胞处理后传递给神经节细胞. 双极细胞可分为由光照增强 (ON) 激发的细胞和由光照减弱 (OFF) 激发的细胞[19], 分别将信号输入给光通路 (ON-pathway)和撤光通路 (OFF-pathways) 两条并行通路[20], 传递给光运动和撤光运动产生的刺激. 而神经节细胞同样包括ON 和OFF 两种, 会对给光和撤光所产生的运动方向做出反应[21]. 因此, 本文构造5×5大小的对特定方向微动敏感的神经节细胞感受野窗口, 将其对偏好方向和反方向微动所产生的响应分别作为给光通路和撤光通路的输入. 以偏好方向为45° 的方向选择性神θi fires Res S xy ∗通过上述定义, 可以形成以45° 为单位、从0°到315° 的8个方向的感受野窗口, 与上文 的8个方向对应. 之后本文在亮度编码结果 上构筑与感受野相同大小的局部窗口 , 根据最优方向矩阵Dir 对应窗口中心点的方向, 取与其相同和相反方向的感受野窗口和亮度编码结果进行卷积运算 (本文用符号 表示卷积运算), 分别作为ON 和OFF 通道的输入, 如下式所示T ON T OFF 考虑到眼球微动能够将静止的空间场景转变为视网膜上的时间信息流, 激活视网膜神经元的发放,同时ON 和OFF 两通路也只在光刺激的呈现和撤去的瞬时产生电位发放, 因此本文采用首发脉冲时间作为编码方式, 将 和 定义为两通路首次脉冲发放时间构成的时间矩阵, 并作为初级边缘响应的结果. 将1个单位的发放时间设置为0.25, 当总发放时间大于30时停止计算, 此时还未进行发放的神经元即被判断为非边缘.1.3 多特征脉冲延时纹理抑制层视网膜神经节细胞在对光刺激编码的过程中,外界刺激特征的变化会显著影响神经元的反应时间. 研究发现, 当刺激对比度增大时, 神经元反应延时会减小, 更快速地进行脉冲发放; 反之, 则反应延时增大, 抑制神经元的活性[22]. 除此之外, 方向差异也会影响神经元活动, 突触前后偏好方向相似的神经元更倾向于优先连接, 在受到外界刺激时能够更快被同步激活[23]. 因此, 本文引入视网膜的神经元延时发放机制, 考虑方向和对比度对神经元敏感性的影响, 构造脉冲延时抑制模型. 首先结合局部窗口权重函数计算图像对比度, 如下式所示ω(x i ,y i )其中, 为窗口权重函数, L 为亮度图像, Con(a) 原图(a) Original image (b) Izhikevich 模型(b) Izhikevich model (c) 改进的 Izhikevich 模型(c) Improved Izhikevich model (d) 亮度感知编码(d) Luminance perception coding图 3 不同方式对存在弱边缘的菌落图像的处理结果Fig. 3 Different ways to process the image of colonies with weak edges8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1775S xy x i y i µ=∑x i ,y i ∈S xy ω(x i ,y i )为对比度图像, 为以(x , y )为中心的局部窗口,( , ) 为方窗中除中心外的周边像素, ws 为局部方窗的窗长, . 之后考虑局部方窗中心神经元和周边神经元方向差异, 同时用高斯函数模拟对比度大小与延时作用强度之间的关系, 构建脉冲延时抑制模型, 如下式所示D Dir (x,y )D Con (x,y )D (x,y )∆Dir (x i ,y i )min {|θ(x i ,y i )−θ(x,y )|,2π−|θ(x i ,y i )−θ(x,y )|}δ其中, 和 分别表示方向延时抑制量和对比度延时抑制量; 为计算得到的综合延时抑制量; 为突触前后神经元微动方向的差异, 被定义为 ; 用于调节对比度延时抑制量.T ON T OFFRes ON Res OFF 将上文计算得到的两个时间矩阵 和 中进行过脉冲发放的神经元与综合延时抑制量相加, 同样设置1个单位的发放时间为0.25, 将经延时作用后总发放时间大于30的神经元设置为不发放, 即判定为非边缘, 反之则判定为边缘. 根据式(19)和式(20) 得到两通道边缘检测结果 和. 最后, 将两通道得到的结果融合, 得到最终边缘响应结果Res ,如下式所示2 算法流程基于视网膜对视觉信息的处理顺序和编码特性, 本文构建图4所示的算法流程, 具体步骤如下:1) 根据视网膜在外界持续周期性光刺激下产生的适应现象, 在式(1)所示的Izhikevich 模型上作出改进, 构建如式(2)所示的具有自适应阈值的Izhikevich 模型.2) 根据式(3)将作为检测目标的图像映射到0 ~ 255区间规范亮度范围, 接着分离3种通道的颜色分量, 根据式(4)输入到改进的Izhikevich 模型中进行脉冲发放.3) 根据式(5)的方差计算提取出基准图像, 再结合基准图像根据式(6)对三通道脉冲发放的结果进行亮度感知编码, 得到亮度编码结果.4) 考虑人眼的固视微动机制, 根据式(7)和式(8)通过原图的灰度图像提取每个神经元的偏好方向, 得到微动方向矩阵, 接着根据式(9)和式(10)构筑8个方向的方向选择性神经节细胞感受野窗口.5) 根据式(11)和式(12), 将感受野窗口与亮度编码图像作卷积运算, 并输入Izhikevich 模型中得到ON 和OFF 通路的首发脉冲时间矩阵, 作为两通道的初级边缘响应.6) 根据式(13) ~ 式 (15), 结合局部窗口权重计算图像对比度.7) 考虑对比度和突触前后偏好方向对脉冲发放的延时作用, 根据式(16) ~ 式 (18)构建延时纹理抑制模型, 并根据式(19)和式(20)将纹理抑制模型和两通道的初级边缘响应相融合.8) 根据式(21)将两通路纹理抑制后的结果在神经节细胞处进行整合, 得到最终边缘响应结果.3 结果为了验证本文方法用于菌落边缘检测的有效性, 本文选择Canny 方法和其他3种同样基于神经元编码的边缘检测方法作为横向对比, 并进行定性、定量分析. 首先, 选择文献[4]提出的基于神经元突触可塑性的边缘检测方法(Synaptic plasticity model, SPM), 用于对比本文方法对弱边缘的增强效果; 其次, 选择文献[24]提出的基于抑制性突触的多层神经元群放电编码的边缘检测方法 (Inhibit-ory synapse model, ISM), 验证本文的延时抑制层在抑制冗余纹理方面的有效性; 然后, 选择文献[25]提出的基于突触连接视通路方向敏感的分级边缘检测方法(Orientation sensitivity model, OSM), 对比本文方法在抑制冗余纹理的同时保持边缘提取完整性上的优势; 最后, 还以本文方法为基础, 选择去除亮度感知编码后的方法(No luminance coding,NLC)作为消融实验, 以验证本文方法模拟光感受器功能的亮度感知编码模块的有效性.本文使用实验室在微生物学实验中采集的菌落图像和AGAR 数据集[26]作为实验对象. 前者具有丰富的颜色和形态结构, 用于检验算法对复杂检测环境的适应性; 后者则存在更多层次强度的边缘信息, 菌落本身与背景的颜色和亮度水平也较为相近,用于检测算法对颜色、亮度特征和弱边缘的敏感性.本文通过局部采样生成150张512×512像素大小的测试图像, 其中38张来自实验室采集, 112张来自AGAR 数据集. 然后分别使用上文的6种边缘1776自 动 化 学 报49 卷检测算法提取图像边缘, 使每种算法得到150张边缘检测结果, 其中部分检测结果如图5所示.定性分析图5可知, Canny 、SPM 和ISM 方法在Colony4和Colony5等存在弱边缘的图像中往往会出现大面积的边缘丢失. OSM 方法对弱边缘的敏感性强于以上3种方法, 但仍然会出现不同程度的边缘断裂, 且在调整阈值时难以均衡边缘连续性和目标菌落内部冗余. NLC 方法同样丢失了Colony4和Colony5中几乎所有的边缘, 对于Colony3也只能检出其中亮度较低的菌落内部, 对于梯度变化不明显的边缘辨别力差. 与其他方法相比, 本文方法检出的边缘更加显著且完整性更高, 对于弱边缘也有很强的检测能力, 在Colony3、Colony4和Colony5等存在多层次水平强弱边缘的菌落图像中能够取得较好的检测结果. 为了对检测结果进行定量分析并客观评价各方法的优劣, 计算边缘图像重建相似度MSSIM [27]对检测结果进行重建, 并计算重建图像与原图像的相似度作为边缘定位的准确性RGfires (R)fires (G)亮度编码结果Luminance codingresult方差计算Variance1 2 3ON-result对比度Contrast脉冲延时抑制量Neuron spiking delay感受野窗口感受野窗口DSGC templateOFF-通路输出OFF-result 5)6)7)图 4 边缘检测算法流程图Fig. 4 The procedure of edge detection algorithm8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1777图 5 Colony1 ~ Colony5的边缘检测结果(第1行为原图; 第2行为Canny 检测的结果; 第3行为SPM 检测的结果; 第4行为ISM 检测的结果; 第5行为OSM 检测的结果; 第6行为NLC 检测的结果; 第7行为本文方法检测的结果)Fig. 5 Edge detection results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM;The sixth line is the results of NLC; The seventh line is the results of the proposed method)1778自 动 化 学 报49 卷指标. 首先对检测出的边缘图像做膨胀处理, 之后将原图像上的像素值赋给膨胀后边缘的对应位置,得到的图像记为ET , 则边缘重建如下式所示T k ET d k 其中, 为图像 上3×3窗口中8个方向的周边像素, 为窗口中心像素点与周边像素的距离, 计算得到重建图像R . 重建图像的相似度指标如下式所示µA µB σA σB σAB 其中, 和 为原图像和重建图像的灰度均值, 和 为其各自的标准差, 为原图像与重建图像之间的协方差. 将原图像和重建图像各自分为N 个子图, 并分别计算相似度指标SSIM , 得到平均相似度指标MSSIM . 除此之外, 为了验证边缘检测方法检出边缘的真实性和对菌落内部冗余纹理的抑制能力, 本文计算边缘置信度BIdx [28], 根据边缘两侧灰度值的跃变程度判断边缘的真伪. 边缘置信度指标如下式所示σij E (x i k ,y ik )(x i ,y i )d i其中, 为边缘像素在原图像对应位置的邻域标准差, EdgeNum 为边缘像素数量. 另外, 本文进一步计算边缘连续性 CIdx [29]来验证检出目标的边缘完整性. 首先将得到的边缘图像E 分割为m 个区域, 分别计算每个区域中的边缘像素 到其空间中心 的距离 ,则连续性指标如下式所示c i k C i n i 其中, 为边缘连续性的贡献值, D 为阈值, 为第i 个区域的像素点的连续性贡献值之和,为第i 个区域边缘像素点数量. 最后, 将计算得到的3个指标根据下式融合, 得到综合评价指标EIdx [21]其中, row 和col 分别为原图像的行数和列数. 于是, 检测图像的各项性能指标如表1 ~ 表5所示, 图像重建的结果如图6所示.表 1 不同检测方法下的重建相似度MSSIM Table 1 MSSIM of different methodsSerial number MSSIMCanny SPMISMOSMNLC本文方法Colony10.74520.77250.83570.92650.91750.9371Colony20.79510.79710.84900.95280.94470.9725Colony30.85760.86620.83140.91490.83370.9278Colony40.96900.98270.98380.98870.98930.9972Colony50.96340.97580.97800.97710.98830.9933表 2 不同检测方法下的边缘置信度BIdx Table 2 BIdx of different methodsSerial number BIdxCanny SPMISMOSMNLC本文方法Colony10.49880.46180.43070.58010.50580.6026Colony20.18210.15370.15530.33650.46150.4479Colony30.19830.15100.16100.26340.12630.3257Colony40.16310.14880.19060.14370.15210.2016Colony50.16200.18960.19020.18820.17350.1654表 3 不同检测方法下的边缘连续性CIdxTable 3 CIdx of different methodsSerial numberCIdxCanny SPMISMOSMNLC本文方法Colony10.83770.85300.86010.86760.97490.9652Colony20.80690.86550.85330.82930.91770.9518Colony30.80640.74080.72930.82690.77640.9406Colony40.81430.86110.90440.84300.90150.9776Colony50.90470.84480.86320.85920.87090.95718 期郑程驰等: 视网膜功能启发的边缘检测层级模型1779。
《2024年近红外给体-受体AIE分子设计合成及光诊疗研究》范文

《近红外给体-受体AIE分子设计合成及光诊疗研究》篇一近红外给体-受体E分子设计合成及光诊疗研究一、引言随着科技的飞速发展,光诊疗技术已成为现代医学领域的重要研究方向。
其中,近红外给体-受体E(聚集诱导发光)分子因其独特的发光性能和生物相容性,在生物成像、光动力治疗等领域展现出巨大的应用潜力。
本文旨在探讨近红外给体-受体E分子的设计合成方法,以及其在光诊疗领域的应用研究。
二、近红外给体-受体E分子的设计原理近红外给体-受体E分子的设计主要基于分子内电荷转移(ICT)理论和聚集诱导发光(E)效应。
设计过程中,需考虑分子的给体和受体部分、分子结构中的共轭体系、以及分子内的电子云分布等因素。
近红外区域的光子能量较低,能够深入组织内部,具有较低的背景噪声和较高的组织穿透力,因此,设计合成近红外发光的E分子具有重要意义。
三、分子合成方法近红外给体-受体E分子的合成主要采用有机合成方法。
首先,根据设计原理,选择合适的给体和受体部分,通过化学反应将它们连接起来。
在合成过程中,需要严格控制反应条件,如温度、时间、溶剂等,以保证分子结构的稳定性和纯度。
此外,还需对合成得到的分子进行表征,如核磁共振、紫外-可见吸收光谱、荧光光谱等,以验证其结构和性能。
四、光诊疗应用研究1. 生物成像近红外给体-受体E分子在生物成像领域具有广泛的应用。
由于其发光强度高、背景噪声低、组织穿透力强等特点,使得其在细胞成像、组织成像等方面具有显著优势。
通过将E分子与生物分子或细胞标记物结合,可以实现高分辨率、高灵敏度的生物成像。
2. 光动力治疗光动力治疗是一种利用光敏剂和光照治疗肿瘤的方法。
近红外给体-受体E分子可作为光敏剂,在光照下产生单线态氧等活性氧物质,对肿瘤细胞产生杀伤作用。
此外,E分子的近红外发光性能有助于实时监测光动力治疗过程,为临床治疗提供有力支持。
五、实验结果与讨论通过合成不同结构的近红外给体-受体E分子,并对其在生物成像和光动力治疗中的应用进行研究。
土耳其比尔肯特大学研制出一种全硫属化物可变红外滤光片

● 藿
5
( c )
图 1 () a 斜蒸 发 几何 结 构 示 意 图, () 间可 变多 b空 层 滤光 片 结构 ,() 0层 A 2 3G l s S i e C2 s 一 es 2 es 4 S A 方 法 的研 究 [. 外 与 毫 米 J红 1
波学报 , 0 6 2 () 4 4 . 2 0 , 5 5:32 34
t soy 【 . e a C e sr, 00 7 () 15 r cp J C r l hmi y 20 , 72: 5— o 】 e t
哥召开 的 “ 红外 系统与光 电子技 术” S I PE专题
会议上 , 土耳其 比尔肯特大 学的研 究人员 HE a .s t
IF A E M N HY/ O . , o7 U 00 N R R D( O T L )V L 1 N .,J L2 1 3
图 2 该 红 外光 谱 仪 实验 装 置 的草 图
【 8 】Do el . iee t tn i eu n o —i e u w lFE D f rni ig t o s dn nvt o s a vr a r
d r u um e t k r e s b sn e ri fa e p e wh a e n l y u i g n a —n r r d s e — ・ -
1 . 58
[ ] i b O 6 . ai a d nndsrci 1 Tg u M, dnP C R pd n o-et t e 2 a u v
a a y i fv g u fPi u a u a s e s u i g sn l n l ss o i o r o n s p t l e d sn i g e s e e r i fa e r n m it n e s c r n u — e d n a n r r d t a s t a c pe t a a d m l
基于鬼成像技术的光谱增强研究

基于鬼成像技术的光谱增强研究
闫凌浩;王晓茜;邵嘉琪;高超;刘娜
【期刊名称】《长春理工大学学报:自然科学版》
【年(卷),期】2022(45)5
【摘要】鬼成像是一种新兴的非局域成像技术,由于它具有较高的抗噪能力和超高分辨率,成为学者们竞相研究的热门问题。
该技术将获取的光强信息进行二阶关联运算,从而重构待测物体的空间信息。
考虑利用鬼成像技术增强某些特定波长的光谱图像,通过分析鬼成像的关联函数,发现可以通过两个宽带的滤波片进行滤波,会增强某些特定频宽的光谱图像,从而获取相应的光谱信息。
首先给出了理论分析,然后进行了数值模拟和实验验证,发现鬼成像技术可以增强某些特定光谱的信息并且提高光谱图像的成像质量。
【总页数】6页(P14-19)
【作者】闫凌浩;王晓茜;邵嘉琪;高超;刘娜
【作者单位】长春理工大学物理学院
【正文语种】中文
【中图分类】O431.2
【相关文献】
1.应用光谱成像技术显现和增强指纹的研究
2.基于偏振干涉成像光谱仪的视场增强和相位热漂移补偿关键技术的研究
3.基于谱线匹配技术的星载成像光谱仪星上光
谱定标方法研究4.基于大气吸收带的超光谱成像仪光谱定标技术研究5.基于HF-Net光谱特征重定位的三维光谱成像技术研究
因版权原因,仅展示原文概要,查看原文内容请购买。
光子学前沿成果

光子学前沿成果无论是人类的认知、生活还是工作,都已经离不开光子学。
近年来,光子学前沿研究在全球领导地位愈加显著,涉及到领域和学科也日益扩大。
下面就来看看光子学前沿研究的成果。
1、面向未来的半导体激光器集成的半导体激光器是现代光电子技术的核心元件,数字通信、激光雷达、材料加工和医疗领域都需要这类器件。
目前主流的半导体激光器多采用直接调制器(DFB)和外腔反射激光器(ECL)模式,虽能满足市场需求,但其功率效验、光谱带宽、噪音和可靠性等方面仍有提高空间。
美国加州大学旧金山分校的Tyler et al. 提出了两种新型半导体激光器,即整合微环谐振器的ECL和超缩短光腔谐振器激光器,分别解决了光谱带宽和功率效验两个核心问题。
2、改善内窥镜成像的新技术内窥镜在临床诊断治疗领域发挥重要作用,其影像质量是决定临床诊断的关键因素。
现有内窥镜的图像质量有限,特别是在低光量条件下。
研究人员利用光子学技术开发了一种新型内窥镜,采用多波长反射的全息成像技术。
这种技术可以同时收集多种波长的光线,以获得准确、清晰的图像。
3、有效消除光线扰动的新方法光学通信是目前最快的信息传输方式,而光线的传输必然会受到环境因素的影响,如大气湍流、振动和杂散光等。
近年来,研究人员通过使用电子计算机反馈控制,成功开发出一种有效消除光线扰动的新方法。
该技术通过沿用自适应光学方法,采用差分测量和自适应矩形窗口,能够更准确地检测到环境扰动,并对其进行反馈控制。
该方法可以有效消除光线的波动和湍流,从而提高光学通信的传输质量。
4、新型探测器提高太阳光能利用率太阳能发电是清洁能源的代表。
其中一种有效的途径是利用半导体材料将太阳光转换成电能。
但现有的太阳能电池转换效率相对较低,需要进一步提高。
美国阿拉巴马大学的Liu et al. 提出了一种新型能够直接转换太阳能电池的探测器。
这种探测器采用了层状二维材料与纳米颗粒的复合结构,能够高效地吸收太阳光,进而产生阳光电荷对,并最终出现光电转换。
基于自适应对偶字典的磁共振图像的超分辨率重建

L I U Z h e n - q i , B A 0 L i - j u n , C HE N Z h o n g
r De p a r t m e n t o f E l e c t r o n i c S c i e n c e , X i a me n U n i v e r s i t y , Xi a me n 3 6 1 0 0 5 , C h i n a )
刘振 圻 , 包立君 , 陈 忠
( 厦 门大学电子科 学系, 福建 厦门 3 6 1 0 0 5 )
摘 要: 为了提高磁共振成像的图像 质量 , 提 出了一种基于 自适应对偶字典的超分辨率 去噪重建方法 , 在超分辨率重建过程 中引入去噪功能 , 使 得改善图像 分辨率的同时能够有效地滤除 图像 中的噪声 , 实现 了超分辨率重建和去噪技术 的有机结合 。该 方法利用聚类一P c A算 法提取图像的主要特征来构造主特征字典 , 采用 训练方法设计 出表达图像 细节信 息的 自学 习字 典 , 两者 结合构成的 自适应对偶字典具有 良好 的稀疏度和 自适应性 。实验表 明, 与其他超分辨率算法相 比, 该方法超分辨率重建效果显 著, 峰值信噪 比和平均结构相似度均有所提高。
第2 8 卷第 4 期
2 0 1 3 年8 月
பைடு நூலகம்光 电技术 应 用
EL ECT RO一 0P T I C T ECHNOLOGY AP P LI CAT1 0N
V O1 . 28. NO. 4
Au g u s t , 2 01 3
・
信号 与信息处理 ・
基 于 自适应对偶 字典的磁共振 图像 的超 分辨率重建
肝移植术后严重门静脉狭窄的三维可视化成像与门静脉支架植入术疗效分析

· 论著·肝移植术后严重门静脉狭窄的三维可视化成像与门静脉支架植入术疗效分析赵洪强 刘影 马建明 李昂 于里涵 童翾 吴广东 卢倩 张跃伟 汤睿【摘要】 目的 分析肝移植术后严重门静脉狭窄的三维成像特征与优势,评估门静脉支架植入术效果。
方法 回顾性分析10例肝移植术后因严重门静脉狭窄接受门静脉支架植入的患者的临床资料,分析严重门静脉狭窄的影像学特征、三维重建的成像优势及介入治疗效果。
结果 10例患者中狭窄类型包括向心性缩窄3例,曲折成角致狭窄2例,受压狭窄2例,长段狭窄和(或)血管闭塞3例。
三维重建图像在狭窄的准确判断、狭窄类型的辨别和狭窄累及长度判断方面具有优势。
所有患者均成功接受门静脉支架植入术,支架植入后门静脉最狭窄处直径较治疗前增加[(6.2±0.9)mm 比(2.6±1.7)mm ,P <0.05],吻合口流速较治疗前下降[(57±19)cm/s 比(128±27)cm/s ,P <0.05],近肝处门静脉主干流速较治疗前增加[(41±6)cm/s 比(18±6)cm/s ,P <0.05]。
1例患者因介入穿刺引起肝内血肿,经保守观察治疗后好转,其余患者均未出现相关并发症。
结论 三维可视化技术可以立体直观展示狭窄部位、特征与严重程度,有利于临床医师进行治疗决策和辅助介入操作。
及时的门静脉支架植入术可以有效逆转病变进程并改善门静脉血流。
【关键词】 肝移植;血管并发症;门静脉狭窄;介入治疗;三维可视化成像;门静脉支架;血流加速;门静脉高压【中图分类号】 R617, R543 【文献标志码】 A 【文章编号】 1674-7445(2024)01-0011-08Analysis of three-dimensional visualization imaging of severe portal vein stenosis after liver transplantation and clinical efficacy of portal vein stent implantation Zhao Hongqiang *, Liu Ying, Ma Jianming, Li Ang, Yu Lihan, Tong Xuan, Wu Guangdong,Lu Qian, Zhang Yuewei, Tang Rui. *Hepatopancreatobiliary Center , Beijing Tsinghua Changgung Hospital Affiliatal to Tsinghua University , Key Laboratory of Digital Intelligence Hepatology of Ministry of Education , School of Clinical Medicine , Tsinghua University , Beijing 102218, ChinaCorresponding author: Tang Rui, Email: ******************【Abstract 】 Objective To analyze three-dimensional imaging characteristics and advantages for severe portal vein stenosis after liver transplantation, and to evaluate clinical efficacy of portal vein stent implantation. Methods Clinical data of 10 patients who received portal vein stent implantation for severe portal vein stenosis after liver transplantation were retrospectively analyzed. Imaging characteristics of severe portal vein stenosis, and advantages of three-dimensional reconstruction imaging and interventional treatment efficacy for severe portal vein stenosis were analyzed.DOI: 10.3969/j.issn.1674-7445.2023201基金项目:国家自然科学基金重点项目(81930119);中国医学科学院医学与健康科技创新工程创新单元(2019-I2M-5-056);北京清华长庚医院青年启动基金资助项目(12019C1012)作者单位: 102218 北京,清华大学附属北京清华长庚医院肝胆胰中心 数智肝胆病学教育部重点实验室 清华大学临床医学院(赵洪强、刘影、李昂、于里涵、童翾、吴广东、卢倩、张跃伟、汤睿);拉萨市人民医院普外科(马建明、汤睿)作者简介:赵洪强(ORCID 0000-0002-8544-2865),博士,住院医师,研究方向为肝脏移植的临床与基础研究,Email :*************************通信作者:汤睿(ORCID 0000-0003-3118-3842),博士,副主任医师,研究方向为肝脏移植的临床与基础研究,Email :******************第 15 卷 第 1 期器官移植Vol. 15 No.1 2024 年 1 月Organ Transplantation Jan. 2024 Results Among 10 patients, 3 cases were diagnosed with centripetal stenosis, tortuosity angulation-induced stenosis in 2 cases, compression-induced stenosis in 2 cases, long-segment stenosis and/or vascular occlusion in 3 cases. Three-dimensional reconstruction images possessed advantages in accurate identification of stenosis, identification of stenosis types and measurement of stenosis length. All patients were successfully implanted with portal vein stents. After stent implantation, the diameter of the minimum diameter of portal vein was increased [(6.2±0.9) mm vs. (2.6±1.7) mm, P<0.05], the flow velocity at anastomotic site was decreased [(57±19) cm/s vs. (128±27) cm/s, P<0.05], and the flow velocity at the portal vein adjacent to the liver was increased [(41±6) cm/s vs. (18±6) cm/s, P<0.05]. One patient suffered from intrahepatic hematoma caused by interventional puncture, which was mitigated after conservative observation and treatment. The remaining patients did not experience relevant complications. Conclusions Three-dimensional visualization technique may visually display the location, characteristics and severity of stenosis, which is beneficial for clinicians to make treatment decisions and assist interventional procedures. Timely implantation of portal vein stent may effectively reverse pathological process and improve portal vein blood flow.【Key words】Liver transplantation; Vascular complication; Portal vein stenosis; Interventional therapy; Three-dimensional visualization imaging; Portal vein stent; Accelerated blood flow; Portal hypertension术后门静脉狭窄是肝移植主要的血管并发症之一,尽管发生率低,但可能造成移植物丢失、患者死亡等严重后果[1]。
聚焦离子束技术雕刻出的纳米级图案

壁、多壁碳纳米管混合特性的双壁碳纳米管更具有吸引力。 西 北大 学 的研 究人 员发 现 ,D WNT的长 度 比 S T长 4%。由于 双壁碳 纳米 管长度 更 WN 4 长,因而透明导电的 D T在用 于太阳能电池板时,其电导率提高了 2 WN . 4倍。 ( 英惠 杨
内的发育 。该项发现的关键之处在于,这种表面可直接激励细胞,因而无需借助药物,从而 排 除药物 不 良影 响。 科学家 们 利用化 学试剂 改变 通常 的医 用金属 ( 如钛 )的表 面 。将 这些金 属 置于选 定 的酸 和氧 化物 混合 液 中,使金 属表 面形成 海 绵状 、由纳 米尺 寸小坑 组成 的图案 。研 究表 明,经 过 处理 的表 面使 骨细 胞生长 加速 、抑制 了无 用细 胞 的生长 ,并激 发 了支 撑细 胞 。此外 ,由于与
纳米 多孔表面 的接 触 ,有利 于细胞 附着 ,且 生长 的基因表 达 能力也提 高 了。 . ( 英惠 摘译 ) 杨
聚焦离子束技术雕刻 出的纳米级 图案
美国国家标准与工艺研究所 ( IT N S )报道,将离子流聚焦成一个 lm大小的光点技术 n 在 纳 米工 艺 中有 广泛 用途 ,利用 这 项技 术可 在 半 导体上 刻 出 比 目前所有 方 法 都更 精小 的 图 形 ,它还能进行 以比目前 电子显微镜所达到的分辨率更为细小的非破坏成像 。 研 究人 员制 成 了一个 小的原 子 “ ” 云 ,而后 联合 使用磁 场及激 光捉 住这 些 原子并 将其 冷 冻至极低温度。利用另一个激光器将原子离化,并使荷 电粒子加速通过一个小孔,从而制成 了带 能离 子束 。这一装 置 被命名 为 MO I,用作 磁光 离子源 陷 阱。MO I TS TS首先 以铬 原子进 行了演示,并确定除镓外其他元素均可达到相应亮度与强度,宛如聚集离子束。 该项技术还 可用 于许 多其 他原 子 。这些 离子 束可用 于切 削纳 米级 图案 ,而不产 生污 染 ,还 可用 于提 高离 子 束显微 镜 的对 比度 。 ( 英惠 摘译) 杨
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
V VI
APPENDIXES
∗ †
itakura@ maedan@tokyo-ct.ac.jp
1
I. INTRODUCTION
Dirac’s first proposal of the “front form,” which is now called the light-front (LF) Hamiltonian formalism, intended to combine special relativity and quantum mechanics. [1] Since the quantum mechanics is based on Hamiltonian formalism, Dirac’s implied intention was to find the most convenient “form” for relativistic quantum systems. In the usual instant form, with the equal-time hypersurface x0 = const,1 translations and rotations transform quantum states in a very simple manner, because they do not change the quantization surface. These kinds of static Poincar´ e generators are called “kinematical”. The other generators, which change the quantization surface, are called “dynamical”. For example, the Lorentz boost mixes time and space coordinates and thus changes the hypersurface. The Hamiltonian itself, of course, is a dynamical operator. Therefore, an eigenstate in a rest frame is no longer an eigenstate in the boosted frame. Even though we know eigenstates in the rest frame, to find a new eigenstate in the boosted frame requires, in principle, √ as much as effort as solving the entire problem. Contrastingly, the front form in which we treat x+ = (x0 + x3 )/ 2 as time, allows the maximum number of kinematical operators in ten Poincar´ e generators. In particular, the boost operator now forms a part of the kinematical operators. With the LF coordinates,2 the boost transformation along the third axis is simply given by x± → e±φ x± (tanh φ = β ), and it does not change the quantization surface x+ = 0. Due to this simplicity, it is quite easy to construct a boosted eigenstate |n; P ′ from |n; P , where P ′µ = Λµ ν P ν . Therefore, the front form is considered to be an ideal framework for the description of relativistic quantum systems. This idea is convenient for understanding the hadron physics based on the quantum chromodynamics (QCD), because all the hadrons are relativistic quantum bound states of quarks and gluons. Of course there exists a covariant formalism of quantum field theories, but at present its success is, strictly speaking, limited only to the perturbative region, and thus effort should be made to consider other possible frameworks for relativistic quantum systems. One of the merits of using Hamiltonian formalism is that we can utilize various nonperturbative techniques (such as the variational approximation, the Tamm-Dancoff approximation, etc.) developed in quantum mechanics. Moreover, in some aspects, the LF field theory has a structure similar to that of the nonrelativistic theory. This resemblance also allows us to use familiar nonperturbative methods of nonrelativistic quantum mechanics. The other merits of the Hamiltonian formalism are that we can compute both the wave functions and eigenvalues simultaneously, and that it can in principle describe the time (x+ ) evolution of the system. The accessibility to such dynamical information deserves more attention and investigation. Dirac’s LF Hamiltonian formalism has been applied to various quantum field theories. [2] The most significant success was made in 1+1 dimensional QCD, where the mass spectra and wavefunctions of various mesons and baryons for various numbers of colors were calculated by explicit diagonalization of the LF Hamiltonian. [3] An interesting application of the LF formalism to time dependence of a relativistic system was made for the scattering of two composite particles. [4] Many of the properties of the LF formalism are related to the unique structure of the dispersion relation p− =
arXiv:hep-ph/0102330v2 17 Mar 2001
CONTENTS
I II Introduction Chiral transformation on the A Definition . . . . . . . . . . . B Massive free fermion . . . . . C Scalar field . . . . . . . . . . D Order parameters . . . . . . light front . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 5 6 7 8 8 9 10 13 13 14 15 15 17 18 19 20 21 22 23