数据同步系统设计

合集下载

船岸数据同步原理设计

船岸数据同步原理设计作者：薛磊来源：《硅谷》2009年第10期中图分类号：U6文献标识码：A文章编号：1671－7597（2009）0520087－02当今世界航运市场的竞争日趋激烈，管理就成了在竞争中立于不败之地的关键所在。

为了更加有效地保证公司质量与安全管理体系有效运行，不断提高公司安全管理人员对船舶的安全监管水平，保证船舶及人员安全，防止污染，减少和避免财产损失，维护公司声誉，因此，需要利用船舶信息同步技术，使船舶安全管理人员能及时地监管在航船舶及船员信息，加强公司管理机关对船舶的控制力度和突发事件的应对能力，确保船舶航行的安全。

要实现船岸之间的信息同步，首先考虑的是分布式数据库技术。

每一艘船舶都有自己的一个数据中心，岸端有一个中心数据库服务器。

通过这一技术，可以使数据库应用系统延伸到船舶，并通过互联网与岸端管理机关进行数据拷贝，从而实现船岸之间的信息传递。

但是，从现有的技术来看，远洋船舶和陆地之间难以保持长期在线连接的状态：GPRS和CDMA技术在茫茫的大洋中存在很多的盲点，而通过卫通保持长期的连接费用又很高。

因此，从经济角度和可行性上考虑，船岸之间通过海事卫星短时连接，从而达到船岸之间数据的同步，是最经济、最安全和最有效的方法。

系统整体构架模型图如下所示：一、系统的总体思路本方案可抽象成如下结构的系统模型: 陆地与船舶两端的系统通过一个抽象的网络连接来实现数据通信与传输。

其中应用系统只负责处理数据和事务流程，中间由一个负责传输数据的抽象网络连接来为两端系统提供应用层上的连接和数据传输的通道。

当需要进行数据通信时，系统将从数据库中查出待增量数据生成一个特殊文件。

这个文件实际上就是一个应用层的通信协议，要精炼、可扩展、功能完备。

系统只需要将要同步的数据交由抽象的网络层处理、传输，并保证传输数据的顺序性、正确性与安全性。

这样，就可以将整个系统中数据事务处理部分与数据传输同步部分分离开来，简化了系统的设计。

基于USB2.0多通道同步数据采集系统设计

维普资讯
第２９卷第５期
２００６年１０月
武汉科技大学学报（自然科学版）ＪｆｈｎＵｉｆｃ．ｅｈ（ａｒｃｅｃｄｔｎ．ｏＷｕａｎ．ｏｉ＆Ｔｃ．ＮｔａＳｉｅＥｉｏ）Ｓｕｌｎｉ
现代工业生产和科学研究对数据采集的要求日益提高，瞬态信号测量、在图像处理等一些高
速、精度的测量中，高需要进行高速数据采集。现在通用的高速数据采集卡一般多是ＰＩ或ＩＡＣ卡Ｓ卡，它们都存在以下缺点：但安装麻烦、价格昂贵；受计算机插槽数量、址、地中断资源限制，扩展可
性差；一些电磁干扰性强的测试现场，在无法专门
对其做电磁屏蔽，导致采集的数据失真。近几年出现的通用串行总线ＵＢ是用来连Ｓ接外围设备与计算机之间的新式标准接口总线。它是一种快速、向、双同步传输、价并可实现热廉拔插的串行接口。该总线接口具有安装方便、带
通过对其可编程接口控制逻辑的合理设计和芯片
内部ＦＦ的有效运用，现了数据的高速连续ＩＯ实采样和传输。
１系统组成与工作原理
１１系统组成．采集系统主要由３个部分组成：主机（支能持ＵＢ．Ｓ２０协议的ＰＣ机）内部包含ＣＵ及高速、Ｐ缓存的ＵＢ接口控制芯片（ＹＣ８１）高速ＳＣ７６０３和同步采样芯片（Ａ１６，图１所示。ＭＸ１）如

设计ClickHouse分布式表实现数据同步

设计ClickHouse分布式表实现数据同步作者：吴帆青云数据库团队成员主要负责维护 MySQL 及 ClickHouse 产品开发，擅长故障分析，性能优化。

在多副本分布式 ClickHouse 集群中，通常需要使⽤ Distributed 表写⼊或读取数据，Distributed 表引擎⾃⾝不存储任何数据，它能够作为分布式表的⼀层透明代理，在集群内部⾃动开展数据的写⼊、分发、查询、路由等⼯作。

Distributed 表实现副本数据同步有两种⽅案：1. Distributed + MergeTree2. Distributed + ReplicateMergeTree| Distributed + MergeTree在使⽤这种⽅案时 internal_replication 需要设为 false，向 Distributed 表写⼊数据，Distributed 表会将数据写⼊集群内的每个副本。

Distributed 节点需要负责所有分⽚和副本的数据写⼊⼯作。

1. 集群配置<logical_consistency_cluster><shard><internal_replication>false</internal_replication><replica><host>shard1-repl1</host><port>9000</port></replica><replica><host>shard1-repl2</host><port>9000</port></replica></shard></logical_consistency_cluster>2. 数据写⼊CREATE TABLE test.t_local on cluster logical_consistency_cluster(EventDate DateTime,CounterID UInt32,UserID UInt32) ENGINE MergeTree() PARTITION BY toYYYYMM(EventDate) ORDER BY (CounterID, EventDate) ;CREATE TABLE test.t_logical_Distributed on cluster logical_consistency_cluster(EventDate DateTime,CounterID UInt32,UserID UInt32)ENGINE = Distributed(logical_consistency_cluster, test, t_local, CounterID) ;INSERT INTO test.t_logical_Distributed VALUES ('2019-01-16 00:00:00', 1, 1),('2019-02-10 00:00:00',2, 2),('2019-03-10 00:00:00',3, 3)3. 数据查询# shard1-repl1SELECT *FROM test.t_localQuery id: bd031554-b1e0-4fda-9ff8-1145ffae5b02┌───────────EventDate──┬─CounterID─┬─UserID─┐│ 2019-03-10 00:00:00 │ 3 │ 3 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-02-10 00:00:00 │ 2 │ 2 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-01-16 00:00:00 │ 1 │ 1 │└─────────────────────┴───────────┴────────┘3 rows in set. Elapsed: 0.004 sec.------------------------------------------# shard1-repl2SELECT *FROM test.t_localQuery id: 636f7580-02e0-4279-bc9b-1f153c0473dc┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-01-16 00:00:00 │ 1 │ 1 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-03-10 00:00:00 │ 3 │ 3 │└─────────────────────┴───────────┴────────┘┌───────────EventDate─┬─CounterID─┬─UserID─┐│ 2019-02-10 00:00:00 │ 2 │ 2 │└─────────────────────┴───────────┴────────┘3 rows in set. Elapsed: 0.005 sec.通过写⼊测试我们可以看到每个副本数据是⼀致的。

基于SAR-ADC的精密同步数据采集系统设计

基于SAR-ADC的精密同步数据采集系统设计王炳文【摘要】For the problem of simultaneously sampling of multi-channel analog signals in a data acquiring system, the schemes of the system were discussed.Based on SAR-ADC, a kind of 16 bit AD convert system which controlled by FPGA was designed.The system could realize real-time synchronous sampling of analog signals.And the differences of sampling rate among multi-channel analog signals were well balanced in this system.The Signal to Noise and Distortion Ratio(SINAD) and Effective Number of Bits(ENOB) of the system were tested, and it was proved that the system can achieve good AC characters.%针对某精密数据采集系统中模拟信号同步采样问题,文章研究了多通道同步模拟信号采集方法,设计了一种基于SAR-ADC、使用FPGA控制的16位同步采样AD转换系统.该系统可实现模拟信号的实时同步采样,同时兼顾多路模拟信号采样频率要求的差异性,最后通过试验测试了该系统的信纳比(SINAD)和有效位数(ENOB).测试结果表明,该系统具有良好的动态性能指标.【期刊名称】《微型机与应用》【年(卷),期】2017(036)007【总页数】4页(P29-31,34)【关键词】SAR-ADC;同步采样;FPGA【作者】王炳文【作者单位】中国航空工业集团公司西安航空计算技术研究所,陕西西安 710065【正文语种】中文【中图分类】TP353在惯性测量[1]、功率因数校正[2]、电机控制等工业应用场合，系统需要采集同一时刻来自多个传感器的模拟信号，并根据当前的状态进行计算和控制。

基于OAI-PMH协议的WMO信息系统元数据同步功能设计与实现

一
个与应用无关的互操作框架。ＯＡＩ ห้องสมุดไป่ตู้Ｈ通过 — Ｐ
简单性、放性和可操作性著称。１９开９９年１Ｏ月，在
美国新墨西哥州的圣达菲召开的一次中心议题为
ＨＴＴＰ协议的ＧＥＴ方法发送请求，ＸＭＬ格式返以回响应结果。该协议的核心是其提供的６个命令动词（ｒ）收割者通过这６个命令动词（１收割Ｖｅｂ，表）
Ｏ（ｅｃｉｅＩｉａｉｅ意为开放文档先ＡＩＯｐｎＡｒｈｖｎｔｔ）ｉｖ
导，由Ｐｕｎｐｒ、ｃｕｅＨｅｂｒＶａｅ是ａｌｓａｇＲｉＬｃ、ｒｅｔｎｄＧｉｋ
Ｓｍｐｌｏｅ等人提出的，个旨在促进网络信息资源开一
“ 电子出版文献的互操作 ” 的会议上第一次提出了
ＯＡＩ设想，此后的几年时间里，在ＯＡＩ议就得到协
提供者仓储中的所有记录或某个数据集的记录或特
定时间段内的记录。
了广泛接受和应用＿。基于ＯＡＩＭＨ协议，们３］ — Ｐ我研究并开发了一个元数据存储、割和提供系统，收以
放、布与共享的合作组织。现由美国梅隆基金会、发
存储位置无关的数据发现、问和检索服务（ａａ访Ｄｔ
Ｄｉｏｅｙｓｖｒ，ＡｃｅｓａｄＲｔｉａ）】。元数据在数ｃｃｓｎｅｒｖ１ｌｅ＿Ｊ据发现和检索中具有重要的地位［，Ｉ２ＷＳ系统也将］

RS-422与1553B总线同步数据传输系统的设计与实现

ＥＬＥＣＴＲ０ＮＩＣＭＥＡＳＵＲＥＭＥＮＴＴＥＣＨＮ０Ｌ０ＧＹ
ＲＳ－４２２与１５５３Ｂ总线同步数据传输系统的设计与实现
徐东东贲广利
（中国科学院长春光学精密机械与物理研究所长春１３００３３）
ＸｕＤｏｎｇｄｏｎｇＢｅｎＧｕａｎｇｌｉ
（ＣｈａｎｇｃｈｕｎＩｎｓｔｉｔｕｔｅｏｆＯｐｔｉｃｓ，ＦｉｎｅＭｅｃｈａｎｉｃｓ，ａｎｄＰｈｙｓｉｃｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅ，Ｃｈａｎｇｃｈｕｎ１３００３３，Ｃｈｉｎａ）
图3同步数据传输逻辑设计图4数据同步发送控制状态机bu61580芯片只对外触发信号的上升沿敏感所以每帧异步rs422数据对应一次1553b数据发送1553b的bc帧的第一条消息的同步头与异步rs422第一个数据的起始位信号间数据延迟不超过3s实现取数指令的同步发送
电
子
测
量
技
术
第４Ｏ卷第３期２０１７年３月
ＬａｂＶＩＥｗ软件的多线程技术及灵活的队列操作对回传数据进行同步显示与存储，为进一步处理提供支持。关键词：１５５３Ｂ总线；同步数据传输Ｉ夕部触发器；多线程技术中图分类号：ＴＰ３３６；ＴＮ９１９．６文献标识码ｉＢ国家标准学科分类代码：５９０．５０３０

基于 PXI Express 的托卡马克同步数据采集系统设计

ＢａｓｅｄｏｎＰＸＩＥｘｐｒｅｓｓ
ＬＩＵＲｕｉ，ＺＨＥＮＧＷｅｉ，ＺＨＡＮＧＭｉｎｇ，ＷＥＮＧＣｈｕ — ｑｉａｏ，ＺＨＵＡＮＧＧｅ一，ＤＩＮＧＴｏｎｇ — ｈａｉ一，ＹＵＫｅ — ｘｕｎ，
ｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅｄｉｓｔｒｉｂｕｔｅｄＴｏｋａｍａｋｓｙｎｃｈｒｏｎｏｕｓｈｉｇｈ — ｓｐｅｅｄｄａｔａａｃｑｕｉｓｉｔｉｏｎ
（１．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＡｄｖａｎｃｅｄＥｌｅｃｔｒｏｍａｇｎｅｔｉｃＥｎｇｉｎｅｅｒｉｎｇａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，
并将数据存储于核聚变领域通用的ＭＤＳｐｌｕｓ数据库中。测试和使用结果表明，系统能在２ＭＳｐｓ采样率下连续稳定工作，可较好地满足装置运行的需要。关键词：托卡马克；ＰＸＩＥｘｐｒｅｓｓ；数据采集；ＭＤＳｐｌｕｓ中图分类号：ＴＬ６２文献标志码：Ａ文章编号：１０００ — ６９３１（２０１４）０１ — ０１６９ — ０６

基于嵌入式系统的同步数据采集设计及应用

刘和平王贵刘平余银辉
（庆大学输配电装备及系统安全与新技术国家重点实验室重庆重４０３）０００
摘
要：为实现对发电设备电参量的实时测量和监控，绍了基于Ａ１介Ｔ９ＲＭ９０２０的外部总线接口（Ｂ）ＥＩ与数据采集
ａｑｉｉｉｎｃｉＭＡＸ１２ｉｒｓｎｅｆｒｃｕｓｔｈｐｏ３４ｓｐｅｅｔｄｏｍｅｓｒｎａｄａｕｉｇｎｍｏｉｒｎｅｅｔｉａｐｒｍｅｅｓｆｏｒｇｎｒｔｎｎｔｉｇｌｃｒｃｌａａｔｒｏｐｗｅ－ｅｅａｉｇｏｅｕｐｎ．ｅｂｓｉｔｒａｅｄｉｅｎｌｉｓｉｇｏＷｏｋｒｅｉｎｄ，ｎｈａｔａｉｍｅｉｆｃｌｕａｉｇｑｉｍｅｔＴｈｕｎｅｆｃ，ｒｒａｄｍｕｔｔｋｎｆＶｘｖａｒｓａｅｄｓｇｅａｄｔｅｆｓｒｔｈｔｏａｃｌｔｎｃｔｅｅｅｔｉａａａｔｒｉｅｕｅ．ｅｒｓｌｓｏｈｔｔｅｍｅｈｄｃｎｉｐｏｅｔｅｍｅｓｒｍｅｔａｃｒｃｎｐｅｈｌｃｒｃｌｐｒｍｅｅｄｄｃｄＴｈｅｕｔｈｗｓｔａｈｔｏａＳｍｒｖｈａｕｅｎｃｕａｙａｄｓｅｄｏｏｒｇｎｒｔｇｅｕｐｎ．ｅｍｅｈｄｈｓｒｆｒｎｅｖｌｅｔｈｐｌａｉｎｏｍｂｄｅｙｔｍｎｅｅｔｉｌｆｐｗｅ— ｅｅａｉｑｉｍｅｔＴｈｔｏａｅｅｅｃａｕｏｔｅａｐｉｔｆｅｅｄｄｓｓｅｉｌｃｒｃｎｃｏａｅｇｎｅｉｇｆｅｄ．ｎｉｅｒｎｉｌｓ

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

数据同步系统设计
摘要：在大型分布式应用中，经常需要对数据进行跨库或跨网络进行同步，出于资金或数据安全的方面考虑，不能过多依赖硬件或数据库进行同步，因此需要一种安全和高性能的数据同步解决方案，本文讨论了在不依赖数据库的基础上，实现数据同步的功能，并在性能和可扩展性上进行了优化。

在分布式领域有个CAP理论，是说Consistency(一致性), Availability(可用性), Partition tolerance(分区和容错) 三部分在系统实现只可同时满足二点，无法三者兼顾。

关键词：数据同步分布式应用CAP理论
一、应用场景
在大型分布式应用中，我们经常碰到在多数据库之间的数据同步问题，比如说一款游戏，在玩家注册后，可以马上登陆进入服务器，即数据在一个IDC 更新，其它IDC立即可见。

为了简化思路，我们这里称玩家注册的数据库(数据来源库)为中心库，同步目的地的数据库为分站库。

能做的
数据快速搬运到指定的IDC节点
数据传递过程中失败时，重新传递
监控数据传递流程
故障转移
数据版本控制
不能做的
不参与业务行为，业务操作只能通过注册的方式集成
不保存业务数据，不提供传递的业务的查询
二、系统要求
1.数据快速同步：除去网络原因，正常情况下从来源库同步到接收库的时间不超过300m
2.高并发：单应用每秒同步2000条记录
3.可伸缩性，在资源达到上限时能通过增加应用分散处理后期增长的压力
4.数据完整性要求，在数据同步过程中保证数据不丢失和数据安全
5.故障转移和数据恢复功能
三、设计思路
系统优化，最常用的就是进行业务切割，将总任务切割为许多子任务，分区块分析系统中可能存在的性能瓶颈并有针对性地进行优化，在本系统中，主要业务包含以下内容：
1.Syncer：外部接口，接收同步数据请求，初始化同步系统的一些必要数据
2.Delivery：将同步数据按照业务或优先级进行分发，并记录分发结果
3.Batch：分站库收到同步数据后，根据不同的业务类型调用相应的业务逻辑处理数据
基于以上三块业务功能，我们可以把整个数据同步流程切割为3个应用，具体如下图显示。

在Syncer端应用中，我们需要将原始同步数据和分发的分站进行存储，以备失败恢复，此时如果采用数据库进行存储，势必会受限于数据库性能影响，因此我们采用了高效的key-value风格存储的redis服务来记录数据，同时在不同应用之间采用队列(Httpsqs服务)的方式来进行通讯，同时也保证的数据通讯的顺序性，为之后的顺序同步做好基础。

Httpsqs提供了http风格的数据操作模式，业务编码非常简单，同时也提供了web形式的队列处理情况查询，这是选择它做队列服务很大一部分原因：方便业务操作和性能监控。

队列处理
根据业务划分队列名称，每个队列再划分为三个关联队列：正常队列(Normal)、重试队列(Retry)、死亡队列(Death)，处理流程为：
1.【进程A】把数据先放入正常队列，如果放置失败写恢复日志
2.【进程B】监听正常队列，获取队列数据并进行业务处理，处理失败放入重试队列
3.【进程C】监听重试队列，过几秒获取队列数据并重新进行业务处理，处理失败放入死亡队列
4.【进程D】监听死亡队列，获取队列数据并重新进行业务处理，处理失
败重新放入死亡队列尾部，等待下一次轮回
数据同步流程
1.发送数据，支持Http POST：curl -d “经过URL编码的文本消息”
2.sync-syncer接收到同步数据请求，创建sid并分解出需要同步的节点个数，把原始数据和子任务写入redis中，sid写入httpsqs中
3.sync-delivery监听中心httpsqs队列，根据sid从redis获取到原始数据和需要同步的节点地址，往其他节点发送数据，流程如按”队列处理流程”进行
4.sync-batch监听分节点的httpsqs队列，调用已经注册的处理器处理队列数据，流程如按”队列处理流程”进行
四、恢复和监控
恢复数据源
httpsqs中的死亡队列- 业务处理暂时处理不了的数据
recovery日志文件- 其它异常下的数据，例如网络无法连接、内部服务不可用
数据恢复
独立的应用来处理正常流程中没有完成的任务，主要功能有：
监听死亡队列，进行业务重做，再次执行失败时将执行次数+1，最大执行次数为5(默认)，超出上限则记录到恢复日志中
读取恢复日志，重新放入死亡队列
应用监控
使用scribe日志框架服务业务日志的采集和监控
收集重要的业务操作日志
动态的开启/关闭某类业务日志
对redis进行监控
对httpsps，监控队列个数，每个队列的状态
五、数据结构
sid(sync id) - 全局id
v(version) - 版本号
data - 业务数据
ctime(create time) - 创建时间(毫秒)
exec - 可选，执行次数
六、编码及测试结果
经过编码和测试，在内网环境下，在无数据库限制的情况下，单应用可以同步1500条/秒，基本满足业务需求。

同时在性能不明显下降的情况下，如果需进一步扩展，可采用分布集群式布署，吞吐量将成倍的增长。

参考文献：
[1](澳)赖利.Java网络编程与分布式计算，机械工业出版社，2003：64-150
[2]许骏.面向服务的网格计算—新型分布式计算休憩系与中间件，科学出版社，2009：86-312
[3]林昊.分布式Java应用：基础与实践,电子工业出版社，2010：57-84。