数据交换过程详解
交换技术原理

交换技术原理交换技术原理是一种用于数据传输和通信的基本技术,它在现代通信系统和计算机网络中起着至关重要的作用。
通过交换技术,数据能够在不同的设备之间进行传输,实现信息的互联互通。
本文将详细介绍交换技术的原理、类型和应用,帮助读者深入了解这一关键技术。
一、交换技术的原理1. 交换技术概述交换技术是指在计算机网络和通信系统中,通过交换设备(例如交换机、路由器)实现数据的转发和传输的技术。
交换技术的基本原理是通过相关的算法和协议,将数据包从发送端传输到接收端,确保数据的准确、高效地传输和交换。
2. 数据交换的基本过程数据交换的基本过程包括路由选择、数据传输和数据交换。
路由选择确定了数据包的传输路径,通过网络中的路由器进行路由选择,以确保数据包能够按照预定的路径传输。
数据包根据路由选择的结果被传输到目的地,实现数据的实时、快速传输。
数据包在到达目的地后进行交换,确保数据包能够正确地被接收端所识别和处理。
3. 交换技术的关键技术和算法交换技术涉及了多种关键技术和算法,其中包括最短路径算法、拥塞控制算法、路由选择算法等。
这些算法和技术的运用,能够有效地提高数据传输的效率和可靠性,保障网络通信的顺畅和稳定。
二、交换技术的类型1. 电路交换电路交换是一种面向连接的交换技术,它在建立通信连接时,需要占用一定的通信资源(例如带宽、传输线路等),并且在通信连接上保持一定的状态。
电路交换在传统电话网络中得到广泛应用,但其缺点是通信资源的浪费和连接建立的时间较长。
2. 报文交换报文交换是一种通过传输整个数据报文的方式进行交换的技术。
在报文交换中,整个数据报文被作为一个整体进行传输,接收端接收完整的报文后再进行处理。
报文交换更适用于数据通信,例如在计算机网络中被广泛应用。
3. 分组交换分组交换是一种将数据分割成多个较小的数据包(分组),并在网络中进行独立传输和交换的技术。
分组交换能够更灵活地利用通信资源,提高了通信的灵活性和效率,因此在现代计算机网络中得到了广泛的应用。
第二章 数据交换

例:假如H1站有3个分组报文要发送到H3站,且按1、2、3 次序发送到结点A。 结点A必须对每个数据报作出路径选择。当数据报1进 入时,结点A测定到去B的队列比去结点F的队列短,因 此选择去结点B的路径; 数据报2也是如此; 对数据报3,结点A发现去结点F的队列短,因此把数据 报3发送到结点F。 结果: 具有同样目的地址的数据报不能遵循同样的路径,有 可能数据报3比数据报2先到达结点C; 三个数据报不能按顺序到达H3,即对到达H3站的数据 报要重新排序。
第2章 物理层 --数据交换技术
问题的提出:在解决了数据的编码与传 输等基本问题后,接下来要考虑的是: 数据是如何通过通信子网,实现资源子 网中两台计算机间的数据交换的? 几种数据交换技术 ATM技术
远程传输网络,不可能铺设用户到用户的线 路,因此产生了交换技术。 交换技术是指数据被从设备的一个端口送到 另一个端口所采用的技术。 电路交换 报文交换 分组交换 高速交换技术
ATM技术基本概念
ATM(Asynchronous Transfer Mode)即异步传输 模式,就是国际电信联盟ITU-T制定的标准,现已成为 实现B-ISDN的核心技术. ATM是一种传输模式,在这一模式中,信息被组织 成信元,因包含来自某用户信息的各个信元不需要 周期性出现,这种传输模式是异步的。 ATM信元是固定长度的分组,共有53个字节,分 为2个部分。前面5个字节为信头,主要完成寻址 的功能;后面的48个字节为信息段,用来装载来 自不同用户,不同业务的信息。
ATM技术基本概念
话音,数据,图象等所有的数字信息都 要经过切割,封装成统一格式的信元在 网中传递,并在接收端恢复成所需格式 由于ATM技术简化了交换过程,去除了 不必要的数据校验,采用易于处理的固 定信元格式,所以ATM交换速率大大高 于传统的数据网,如x.25,DDN,帧中继 等
实验1分组交换过程

实验1分组交换过程分组交换是一种计算机网络通信中常用的数据传输方式。
在分组交换中,数据被分成小的数据块,称为分组,然后逐个传输到目的地。
这种方式相比电路交换更加灵活,可以同时传输多个分组,且不需要建立连接。
本实验将介绍分组交换的过程,包括分组的生成、传输以及到达目的地后的重新组装。
1.分组生成在源主机上,数据被分成适当大小的分组。
每个分组通常包含一个首部和一部分数据。
首部包含了发送源和目的地地址等控制信息,用于帮助网络传输该分组。
分组生成的具体过程如下:-数据被拆分成适当的大小,例如每个分组有固定的字节数。
-为每个分组添加一个首部,包含了源和目的地地址等控制信息。
2.分组传输在分组生成后,它们通过网络传输到目的地。
具体的传输过程如下:-源主机将分组发送给连接到本地网络的网络接口卡(NIC)。
-NIC将数据包封装在数据帧中,并在物理层上通过电缆或无线信号传输。
-网络设备(如路由器或交换机)将数据包通过合适的链路传输到下一个节点。
-分组经过多个节点的传输,直到到达目的地。
3.分组重新组装一旦分组到达目的地网络,它们需要重新组装成原始的数据。
具体的重新组装过程如下:-目的主机上的网络接口卡(NIC)接收到传入的数据帧,并将数据包提取出来。
-分组中的首部被解析,提取出分组的源和目的地地址等控制信息。
-分组按照适当的顺序重新组装成原始数据。
这里要注意的是,分组在网络中传输的顺序并不一定与它们生成的顺序一致。
在传输过程中,分组可能会通过不同的路径,以提高网络的效率和可靠性。
因此,到达目的地时,需要重新组装分组以正确还原原始数据。
总结:分组交换是一种灵活且高效的数据传输方式。
在分组交换中,数据被分成小的数据块,通过网络传输到目的地,然后重新组装成原始数据。
这种方式可同时传输多个分组,并且不需要建立连接。
分组交换在现代计算机网络中得到广泛应用,为高效的数据传输提供了基础。
目的端系统通过网络接口卡(NIC)来接收传人数据帧,然后数据包提取出来。
解析计算机网络的数据传输过程

解析计算机网络的数据传输过程计算机网络的数据传输过程是指在计算机网络中,将数据从发送端
传输到接收端的全过程。
本文将对计算机网络的数据传输过程进行详
细解析,包括数据的分组、路由、传输和数据的重组等环节。
一、数据的分组
在进行数据传输之前,原始的数据需要进行分组处理。
分组是将大
块的数据划分为更小的数据单元,便于在网络中进行传输。
这样可以
提高网络的效率和可靠性,并能适应不同带宽和网络条件。
二、数据的路由
数据分组在网络中传输时,需要通过一系列的网络设备,如路由器、交换机等进行转发。
这些设备会根据分组的目的地址,在网络中选择
最佳的路径进行转发。
这个过程称为数据的路由。
路由器通过查找路
由表,实现数据的转发和选择最佳路径的功能。
三、数据的传输
数据的传输是指通过物理媒介将分组从发送端传输到接收端。
这个
过程包括将数据编码成电信号、经过物理链路传输等多个环节。
在传
输过程中,可以采用不同的传输技术和协议,如以太网、无线传输等,来适应不同的网络需求。
四、数据的重组
当数据到达接收端时,需要进行数据的重组,将分散的数据包按照一定的顺序和规则重新组合起来,形成原始的数据。
这个过程称为数据的重组。
重组后的数据可以交给上层应用进行处理和展示。
综上所述,计算机网络的数据传输过程包括数据的分组、路由、传输和数据的重组等环节。
通过这些环节的配合和协同作用,数据能够在计算机网络中实现高效、可靠的传输。
理解和掌握计算机网络的数据传输过程,对于优化网络性能和保障数据传输的可靠性具有重要意义。
数据交换的三种方法

您使用的浏览器不受支持建议使用新版浏览器
数据交换的三种方法
此处以C语言为例: 例:两个整型数:A和B,交换两个数 方法一:利用一个中间变量——C 先将A的值存入C中,再将B的值赋值给A,最后,再将C的值赋值给B。 方法二:利用加减法互换 先将A+B的值存入A中,再将A-B的值存入B,此时,B中的值就是原来A的值,最后,再将A-B的值存入A,此时,A的值就是原来B的值。 但是,这种方法在执行A+B操作时,会产生溢出,因此,不靠谱,我们再看看方法三。 方法三:利用异或操作 我们知道A^B^B = A, 我们将A^B的值存入A,与B异或后存入B,此时,B的值就是原来A的值,然后计算A^B,值存入A,完成值得互换。
简述数据通信的过程

简述数据通信的过程
数据通信是指在计算机网络中,数据从发送方传输到接收方的过程。
下面是简要的数据通信过程:
1.发送方对数据进行编码:发送方将要发送的数据转换为可以
在网络上传输的二进制形式。
这可以包括将数据分割为较小的数据包,添加必要的控制信息等。
2.发送方将数据包发送到网络:数据包通过物理介质(如电缆、无线信号等)传输到网络中。
发送方通常使用网络协议将数据包传输到网络的下一跳。
3.数据在网络中传输:数据包通过物理网络和网络设备(例如
路由器、交换机等)在网络中传输。
数据包通过不同的网络设备和连接经过多个节点,每个节点将选择正确的路径将数据包转发到目的地。
4.接收方接收数据包:接收方在其接口上接收数据包。
接收方
也使用网络协议,例如IP协议,以接收和解析传入的数据包。
5.接收方解码数据:接收方将接收到的二进制数据包转换为可
读的格式,以便于应用程序或用户理解。
这可以包括将数据包重新组合为原始数据,检查数据的完整性和正确性等。
6.应答或数据反馈:接收方可以向发送方发送一个应答或数据
反馈,以确认接收到数据包,请求更多数据或执行其他操作。
7.完成数据通信:数据通信过程结束,发送方和接收方之间的数据传输完成。
需要注意的是,数据通信的过程是动态的且可以在不同网络层次上进行。
例如,在互联网中,数据通信可以涉及多个网络层次,包括应用层、传输层、网络层和物理层。
在每个层次上,不同的协议和技术可以被使用来实现数据通信。
数据传输过程详解

一、FTP客户端发送数据到FTP服务器端,详述其工作过程。
两台机器的连接情况如下图所示:详细解答如下1.1、假设初始设置如下所示:客户端FTP端口号为:327681.2、不同网络段上的两台计算机通过TCP/IP协议通讯的过程如下所示:协议是水平的,服务是垂直的。
物理层,指的是电信号的传递方式,透明的传输比特流。
链路层,在两个相邻结点间的线路上无差错地传送以帧为单位的数据。
网络层,负责为分组交换网上的不同主机提供通信,数据传送的单位是分组或包。
传输层,负责主机中两个进程之间的通信,数据传输的单位是报文段。
网络层负责点到点(point-to-point)的传输(这里的“点”指主机或路由器),而传输层负责端到端(end-to-end)的传输(这里的“端”指源主机和目的主机)。
1.3、数据包的封装过程不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据报(datagram),在链路层叫做帧(frame)。
数据封装成帧后发到传输介质上,到达目的主机后每层协议再剥掉相应的首部,最后将应用层数据交给应用程序处理。
两台计算机在不同的网段中,那么数据从一台计算机到另一台计算机传输过程中要经过一个或多个路由器。
1.4、工作过程(1)在PC1客户端,将原始数据封装成帧,然后通过物理链路发送给Switch1的端口1。
形成的帧为:注:发送方怎样知道目的站是否和自己在同一个网络段?每个IP地址都有网络前缀,发送方只要将目的IP地址中的网络前缀提取出来,与自己的网络前缀比较,若匹配,则意味着数据报可以直接发送。
也就是说比较二者的网络号是否相同。
本题中,PC1和PC2在两个网络段。
(2)Switch1收到数据并对数据帧进行校验后,查看目的MAC地址,得知数据是要发送给PC2,所以Switch1就对数据帧进行存储转发,查看自己的MAC地址列表后,从端口2将数据转发给路由器的S0端口。
(3)Router收到数据后,先对数据进行校验,然后对IP数据报进行分析,重新对数据进行封装,查看路由表后,从S1端口将数据发送出去,此时得到新的数据帧如下:注:目的IP和源IP地址不会被改的,改变的是MAC,路由器会把远端的源MAC地址改成下一跳的MAC地址,然后就发送出去(4)Switch2接收到Router给它发送的数据后,进行校验后直接存储转发,查看自己的MAC 地址列表后,将数据帧从端口1发送给PC2服务器端。
交换机的数据转发基本过程

交换机的数据转发基本过程二层交换机和网桥的基本功能冗余交换拓扑中的问题生成树协议交换机端口、冲突、交换方式虚拟局域网VLAN交换机的配置如何配置交换机基本命令课程内容以太网交换机交换机的三个功能学习:以太网交换机了解每一端口相连设备的MAC 地址,并将地址同相应的端口映射起来存放在交换机缓存中的MAC 地址表中。
转发/过滤:当一个数据帧的目的地址在MAC 地址表中有映射时,它被转发到连接目的节点的端口而不是所有端口(如该数据帧为广播/组播帧则转发至所有端口)。
消除回路: (回路就是我们常说的环路)当交换机包括一个冗余回路时,以太网交换机通过生成树协议避免回路的产生,同时允许存在后备路径。
交换机如何学习主机的位置交换机如何学习主机的位置交换机如何学习主机的位置交换机如何过滤帧广播帧和多点传送帧冗余网络拓扑广播风暴广播风暴广播风暴重复帧重复帧MAC地址表不稳定MAC地址表不稳定冗余简单的冗余交换拓扑创建逻辑无环路拓扑1.冗余增加了可靠性,但是同时将物理环路带进网络。
2. 解决办法就是创建逻辑无环路拓扑,同时保留物理环存在3.无环路拓扑称为树,并且是可扩展的树4.创建无环路拓扑的算法称为生成树算法STP 术语( STP Terms )1. 桥ID (Bridge ID)2. 开消( Cost )3. 桥协议数据单元( BPDU )桥ID (Bridge ID)新IEEE 标准的COST 值最短路径是cost累加,而cost是基于链路的速率的。
桥协议数据单元( BPDU )1.交换机发送的创建逻辑无环路的数据包称为BPDUBridge Protocol Data Unit (BPDU).2.BPDU 在阻塞的接口上也可以接收,这确保如果链路或者设备浮现问题,新的生成树会被计算3.默认, BPDU 2 秒发送一次生成树协议生成树操作1.选举根桥, BID 最小即是2.计算自己到根桥距离3.选择根端口,距离根桥最近的接口4.选指定端口和非指定端口,非指定端口被阻塞。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据交换过程详解前言:本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。
普元实施数据交换项目已有多年成功经验,本文也将分享大数据时代数据交换所遇到的问题和应对策略。
目录:1、为什么要进行数据交换2、数据交换存在的问题3、数据交换面临的挑战4、数据交换破解“数据孤岛”5、总结1.为什么要进行数据交换企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。
企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。
数据是在流通、应用中创造价值的,这就涉及“数据共享”和“数据交换”。
在实施数据交换的过程中,不同的数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各应用系统中的流动与共享。
因此,对企业内各系统异构底层数据进行有效的整合已成为增强企业商业竞争力的必然选择。
2.数据交换存在的问题企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。
目前集团层面客户信息分散,各子公司之间的客户信息无共享。
内部系统获取客户数据来源系统分散,方式多样难以管理,且获取客户数据时效性较低,供数标准不统一,缺乏统一的客户数据服务平台。
1.数据平台中数据内容繁多,难以全面掌控。
通过多年的信息化建设和运营,企业已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中逐渐存在不合理、不统一的问题。
2.数据平台中数据的流转和逻辑过程复杂,难以追溯数据来源。
许多企业目前没有统一的数据资产标准,各业务系统中数据质量参差不齐,存在信息孤岛现象,不同部门同一名称数据可能有不同的含义,同一个数据可能又有不同的命名,数据有效交互和共享存在问题。
存在部分系统数据更新不及时的问题,核心业务数据无法朔源,数据的准确性和及时性较低,现有报表在建模时几乎每个报表都要重复建模,人为参与工作过多且层次复杂,无法高效的对流程及指标进行精确监控及分析,数据的利用效率和模型重复使用率较低。
3.业务部门对数据结构和质量无法管控目前数据管控的发展方向和需求是由业务部门提出,但业务人员对公司复杂的系统无法进行全面深入掌握,特别是技术层面。
为了使业务部门从数据结构到数据质量上更好的管控,梳理业务系统与数据库结构关系,成为目前急需解决的问题之一。
3.数据交换面临的挑战随着互联网以及大数据等诸多新技术的发展,传统的数据交换面临着许多挑战。
1. 传统方式一般是以单表数据交换作为单位进行作业开发,随着企业中数据库以及表的增多这种方式的开发效率低下、容易出错。
整库数据交换时工作量巨大2. 传统方式下开发交换模型只能手工一个一个进行,任务多、易出错。
需要一种能够在同一种业务下批量进行开发的模式3. 在进行实时数据同步时需要许多额外的操作配合才能完成,过程复杂,对人员技术要求高,4. 在进行PB级数据交换时传统交换方式效率较低,需要很长时间才能完成。
5. 传统的数据交换工具不具备业务化的开发能力,遇到相同的数据交换需求需要重头开发。
6. 在安全保障上传统的方式是手工编写加密、脱敏的脚本来实现7. 进行跨区域数据同步时需要多种技术配合,实现方案复杂。
4.数据交换破解“数据孤岛”4.1数据标准为保证各应用系统中的代码表对同一业务信息定义一致,确保数据消费系统可以根据业务代码辨别数据的确切业务含义,应提供可配置的功能,基于一定的标准对数据供应系统代码进行转换,使数据存储和数据消费系统按照统一标准来理解数据。
数据交换离不开数据标准,数据未动标准先行是构建优质数据交换的前提。
但现实中许多企业没有做好数据标准,导致这些标准是在进行数据交换或数据采集的时候进行,影响了数据的质量。
一旦出现数据被篡改、被泄露等安全性问题,轻的影响业务开展,严重的泄露核心机密造成企业重大损失。
拷贝的数据难以控制准确性和合规性,拷贝的数据流向哪里也无法控制,是谁拷贝了信息也无法掌控。
一旦出现信息泄露,无法追责。
统一指标数据标准,可以规范业务统计分析语言,帮助企业提升分析应用和监管报送的数据质量,进而提高全行数据质量和数据资产价值。
4.2自动采集元数据数据交换依托于元数据,数据交换的本质是基于元数据的交换。
对半结构化和结构化数据自动采集。
元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。
元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。
通过自动化的元数据采集完成部门核心职能的业务梳理及其对应的信息资源梳理,编制部门信息资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。
结合企业内部信息系统中的数据现状和企业业务属性、技术属性的要求形成企业数据标准的业务属性和技术属性,制定有效合理的指标数据规范要求。
4.3 数据交换方式和方法4.3.1 不同类型数据交换方式新的数据交换平台提供数据、报文文件等多种数据交换服务,能够快速建立跨硬件平台、数据库和操作系统的可交互操作的数据交换与信息共享平台,交换平台提供了一个开放的环境,支持多样的客户机、数据库、网络和通讯协议,通过可视化配置实现与数据库、文件以及web接口的数据交互。
使得数据交换与业务逻辑的个性有机结合,快速响应数据集成和外部数据交换的需求。
数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用接口形式进行。
例如:restfull、webservice等。
结构化数据交换方法结构化和半结构化数据交换主要有:时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步。
这里我们对几种做一个比较:•全量同步全量抽取一般适用于统计分析或无需进行二次更新的业务需求,通过全量抽取一次或多次将业务系统数据源在不做任何操作的情况下直接抽取过来,全量数据抽取方式虽然较简单、直接、快速。
通过系统中的采集组件,无需增加过滤条件,即可对数据库中的全量文件进行一次性采集。
全量采集比较适合于数据业务量小的业务需求。
这种方式不能增量的进行数据同步,对于大数据量下的同步并不适用。
•时间戳同步使用这种方式进行增量数据抽取的前提是源数据库与目标数据库都必须有时间戳字段。
先读取目标数据库中的最大时间,然后以这个时间作为参数从源数据库中读取大于这个时间的所有数据。
基于时间戳的方法需要相关应用系统中的每个表中都有一个时间戳字段,以记录每个表的修改时间。
这种方法不影响原有应用的运行效率,但如果表中没有时间戳的字段却需要对原有系统做较大的调整,这种方式不能捕获到那些并非通过应用系统引起的操作数据变化。
优点:处理速度快,数据处理逻辑相对简单。
缺点:源数据库没有时间戳字段的表需要更改表结构,而且需要源数据库来维护时间戳字段;无法实现数据同步,因为使用时间戳字段无法获取删除后的数据。
•CDC增量同步通过分析数据库日志的信息来捕获复制对象的变化序列。
这种方法不仅方便,也不会占用太多额外的系统资源,对任何类型的复制都适合,不但能提高效率和保证数据的完整性,还能在对等式复制时提供详细的控制信息。
但由于数据库日志的格式是不公开的,因而不得不基于某一固定的数据库日志分析工具或接口,这给异构数据库复制带来了问题。
优点:可靠性强,对源系统没有影响。
缺点:各数据库系统的日志文件绝大部分都是私有的,并且日志格式都不一样,因此捕获这些日志需要有专门有针对性的组件来进行,个别数据库还需要管理员权限进行配合才能实现。
对于没有提供日志分析接口的数据源,开发的难度比较大•触发器同步在业务数据表中创建相应的触发器,当提取、复制对象进行变更(插入、修改、删除)时,由触发器触发提数程序,将变化写入目标数据库中。
这种方案可用于同步复制、增量复制。
优点:借助数据库本身的机制,可靠性强。
缺点:对源系统有影响,需要建立触发器以及临时表或临时数据存储文件•全文比对同步对前后两个时间点取业务数据表的全量进行数据比对,比对出来有差异的部分就是数据增量的部分。
此法可以用于一段时间后进行数据的强制同步,但由于消耗资源较大,因此一般建议用于业务空闲期使用。
优点:对源系统没有任何影响。
缺点:面对海量数据(千万级、万万级)进行比对时有一定的性能问题。
这些同步方式除了全量同步,其他几种都需要业务表有主键。
这些同步的方式各有优缺点,在实际使用中应根据企业系统自身实际情况来采取适合的交换方法。
网上有许多人推荐使用CDC的方式,CDC这种架构下数据写入主存储后会由主存储再向辅存储进行同步,对应用层是最友好的,只需要与主存储打交道。
主存储到辅存储的数据同步,则可以再利用异步队列复制技术来做。
不过这种方案对主存储的能力有很高的要求,必须要求主存储能支持CDC技术。
另外这种方式在一些数据库中需要有DBA的权限配合才能够完成,所以在进行CDC同步的时候首先就需要考虑数据库的环境是否有条件能够完成CDC的配置。
触发器、时间戳、全文比对以及方式都能够支持断点续传,所使用的方式各不相同。
触发器数据同步的过程是先将增量数据同步到临时表中,这个临时表会增加两个字段,一个是所做操作的标识(标识有:insert、update和delete),另一个是自增的列。
在进行同步时是查询这张临时表来进行的,再查临时表时会使用自增的列进行排序进行查询,检查寻到的增量数据通过组件到目标库中根据操作标识进行相应的操作,操作完成后如果成功执行则会去临时表把已经同步的增量数据按照自增列的值进行删除。
如果这个过程中在向目标同步数据时出现异常,则这张临时表中的数据不会被删除掉。
而我们在进行作业触发时一般使用的都是按照频度、计划去定期执行,当前这次同步失败后,在下一次计划触发执行时由于上一次所执行的作业最后并没有将临时表中的作业删除,在这次作业执行时上一次没有同步的数据还在。
所以这次执行时就会从断点位置开始再次进行同步。
时间戳数据同步的过程是首先到目标表去根据时间戳使用数据库中的获取最大值的函数(一般数据库使用MAX函数)来查找时间戳里的最大值,然后使用这个最大值去源表找大于这个值的数据(同时需要根据这个时间戳进行排序),这些查找到的数据就是我们需要同步的增量数据,时间戳这种方式不能区分这些数据是插入还是更新的操作。