制药实时数据采集方案

药厂实时数据采集系统项目解决方案

1 背景

1.1 引言

随着国家大力推进走新型工业化道路，以信息化带动工业化，以工业化促进信息化。工业面临着日趋激烈的竞争。降低成本，提高生产效率，快速响应市场，是企业不断追求的目标。要实现上述目标，必须把企业经营生产中的各个环节，包括市场分析、经营决策、计划调度、过程监控、销售服务、资源管理等全部生产经营活动综合为一个有机的整体，实现综合信息集成，使企业在经营过程中保持柔性，因此，建立全厂统一的生产实时数据平台，就成了流程企业今后生产信息化的关键。

1.2 目标

“实时数据采集系统”是为生产过程进行实时综合优化服务信息系统提供数据基础。企业信息化建设的关键问题是集成，即在获取生产流程所需全部信息的基础上，将分散的控制系统、生产调度系统和管理决策系统有机地集成起来，不同业务和系统间能够实时的交换和共享数据。（以下是数据采集信息化的好处）

（一）建立统一的企业数据模型。

（二）解决分期建设的不同应用系统、不同工厂之间彼此隔离、互不匹配、互不共享的信息孤岛问题。

（三）保证数据来源一致性，提高数据经过层层抽取之后的可信度。

（四）汇总、分析和展示企业历史的业务数据。

（五）企业管理层能够直接根据各工厂的真实数据进行统计数据、分析逐步钻取直到数据根源。

（六）透明底层的数据，监督统计分析数据的准确性。

（七）企业应用集成，规范企业业务的数据流程。

1.3 工厂架构

（一）现场层：包括传感器，仪表，电机，气缸，阀门等执行器件。也包括特定的设备及专业仪器，也涵盖简单的PLC、PAC、工控机、嵌入式控制单元和HMI等。

（二）控制层：主要就是高性能的PLC或工控机。其实现将整个工厂的现场单元进行联网，数据集成，集中控制。HMI为标配人机交互系统，其还会有SCADA系统，统一管理，实现人机交互。

（三）生产层：这里指MES系统（制造企业生产过程执行系统）。是一套面向制造企业车间执行层的生产信息化管理系统。MES为企业提供“制造数据管理”，“计划排程管理”，“生产调度管理”，“库存管理”，“质量管理”，“人力资源管理”，“电子看板管理”等功能。主要面向订单执行、生产计划、排程等。

（四）企业层：ERP系统，完成财务，人员，订单等管理。如图1-1所示。

图1-1 自动化网络构架

2 实时数据采集

2.1 实时数据采集构架

数据完整性（Data Integrity）是指数据的精确性（Accuracy）和可靠性（Reliability）。用于防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息而提出的概念。

在实时数据库中，数据的完整性就是指：实时数据库中数据与数据源一致、没有出现数据空白情况。实时数据采集系统结构图如1-1所示。

图1-1典型的数据采集系统框架

2.2 采集出现的问题

（一）网络故障：网络故障很容易引起实时数据库采集的中断。（设置冗余网络是否能解决）

（二）上位机故障：如果数据采集系统架构中设计了上位机，上位机在数据采集中起着承上启下的作用。同样，上位机的硬件、软件故障、都会影响数据采集，成为数据采集中的一个故障点。

（这里指上位机监控软件，比如WINCC：软件退出，死机等情况就会影响数据采集。在网络构架中能否专门搭建一台OPC SERVER服务器，冗余采集更好。）（三）采集程序故障：无论是OPC接口，还是DDE接口，还是MODBUS以及自定义

的数据接口，基于这些接口的数据采集程序都会发生故障，一旦采集程序出现故障，装置现场的实时数据同样不能及时采集到实时数据库中。

（四）实时数据库系统本身故障：大部分实时数据库是建立在WINDOWS系统上的，需要经常备份数据和项目文件。

2.3 解决方法

如果由于网络原因，导致上位机与实时数据库之间通讯出现问题，导致数据采集异常，可以采用“断点续传”技术。所谓“断点续传”，就是在设有上位机的实时数据采集系统中，由上位机充当“缓冲区”的角色，一旦发现数据不能正常上传到实时数据库时，由上位机暂存刚刚采集到的数据，如此不断循环、不断累计、直到网络恢复可以上传时，再把“缓冲”在本地的数据上传到实时数据库，并清空“缓冲区”。目前一般的实时数据库都有“断点上传的功能”

3实时数据管理

3.1 数据传输

所有工作在内存中进行，所以能充分的保证数据的实时性，系统接收数据包时采用CRC校验等多种校验方式，确保了上传的实时数据的准确性。

3.2 数据存储

实时信息系统中，根据电厂生产数据的特点，采用了先进的数据压缩算法，对大量的实时数据进行原型压缩，同时结合高效的数据检索策略设计了实时数据库的存储系统，数据压缩在传统意义上是为了减少磁盘空间。针对不同的应用，数据压缩有多种算法，实时数据库系统不仅要求能够在有限的硬盘空间中存储大量历史数据，而且还要求这些数据能够快速地被访问。采用基于时间和空间维度的高效压缩算法，死区与线性压缩相结合。

3.3 数据查询

快速访问历史数据。采用基于树和数据块的方法存储历史数据，用户检索几年的历

史数据与检索几天前的历史数据几乎没有太大的区别。

4实时数据采集系统性能特征

4.1 数据具有实时性

实时数据库必须能够高速、按时存取和处理数据，必须尽量保证关键的数据操作能够在规定的时间内完成。因而，为了提高数据操作的可预见性，实时数据库在数据存储方式和索引方式上与传统的数据库有很大的不同。为了避免不必要的磁盘操作和避免不可预测时间的动态资源分配，我们采用了基于共享内存管理的实时数据表管理机制，同时提供多级索引机制进行快速的数据定位，提高数据检索速度，确保用户对数据实时性的要求。

4.2 数据具有稳定性

实时信息系统是企业的上层管理者与生产现场连接的纽带，也是管理者调度、安排生产的重要依据，只有保证实时数据的稳定性，才能有效的保证生产的顺畅及连续性。

4.3 数据具有准确性

实时信息系统的数据直接取自生产现场，其数据的失误可能会对生产及设备等带来严重的后果。因此，数据的准确性也是一个重要的指标。

5 工控系统数据采集

（一）原则上保证与DCS及其它生产控制系统的连接采用单向连接方式，即数据只能从生产控制系统端单向向上传输。

（二）在网关机与中心交换机之间，可根据情况配置防火墙。

（三）每台机组的DCS系统配置独立的接口网关机，确保当某个机组的网关机出现故障时，不影响其它机组接口的正常运行。

（四）接口网关机从DCS及控制系统接收到数据包后，向上发送给数据接收解析程序。

（五）数据解析程序接收到网关机传输的数据后，进行效验，并解析成实时数据库

的点表格式。

（六）完成解析的数据将存储到实时数据库系统中。

（七）每个DCS系统要分别对应一个数据采集器，防止当一台采集机出问题而不影响其它机组的正常运行。

DCS及其它控制系统连接方案示意图，如图6-1。

图6-1

7 OPC协议采集

7.1 OPC直接采集

实时数据库使用OPC协议直接从DCS采集数据。OPC协议，即“面向处理控制的对象链接与嵌入”的标准接口技术。

多数新型的DCS设备都支持OPC数据接口通信协议，从理论上讲，实时数据库可以直接从DCS系统中采集数据，根据项目经验总结，发现这种数据采集方法的效果并不能达到预期效果，有的甚至在实时数据采集过程中，导致DCS系统“死机”，这也是采用实时数据库进行数据采集的最大风险。

经过我们的分析了解到原因在于：MES系统的实时数据库自身的数据流通量相当大，当实时数据库直接从DCS系统中采集大量的数据时，DCS系统本身必须花费大量的机时来响应MES系统实时数据库的这些数据采集请求，一旦数据请求量大到DCS

系统处理上限时，就会影响DCS系统对其它事件的处理响应速度，从而导致“死机”现象。因此这种实时数据采集方式要注重DCS系统的数据响应机制。

7.2 OPC服务器采集

即通过建立OPC服务器，从DCS中采集数据，再转发至MES系统实时数据库中。这种MES数据采集方法具体实现时，需要用一台工控机作为数据采集工作站，通过OPC 协议与DCS进行数据通信，并且仅从DCS中读取我们最关心的数据而不进行任何的写入操作。实践证明，这种MES数据采集方法非常安全可靠，不会阻碍整个系统数据更新的快速性。

7.3 OPC通讯方式

OPC规范规定了两种通信方式：同步通信方式和异步通信方式。异步读写数据复杂，需要与事件结合使用，与同步相比速度慢但准确性高。同步读写数据简单，直接使用OPCItem的方法即可。

（一）同步通信时，OPC客户程序对OPC服务器进行读写操作时，OPC客户程序必须等到OPC服务器对应的操作全部完成以后才能返回，在此期间OPC客户程序一直处于等待状态。如果有大量数据进行操作或者有大量OPC客户程序对OPC服务器进行读写操作，必然造成OPC客户程序的阻塞现象。因此同步通信适用于OPC客户较少，数据量较少的场合。

（二）异步通信时，OPC客户程序对服务器进行读写操作时，OPC客户程序操作后立刻返回，不用等待OPC服务器的操作，可以进行其他操作。当OPC服务器完成操作后再通知OPC客户程序。因此，当对于同步通信和异步通信的效率更高，适用于多客户访问同一OPC服务器和大数据的场合。

（三）OPC数据的读与写。对OPC服务器中的数据项数读可以通过groud组的DataChange事件触发来读取。该事件多个参数，其中NumItems是指数据项的个数;ItemValues为数据项的数据；Qualities为数据项的品质；TimeStamps为数据项的更改时间；ClientHandles是数据项的标签索引，其所指的OPC标签的值在ItemValues中，只有数据发生变化时才会触发该事件。也只会传输发生了变化的数据，没有变化的数据不

会出现在本事件ItemValues中。使用C#事件处理机制，将DataChange注册到事件，一旦服务器端数据有变化，自动触发此过程。

（四）OPCDA规范规范了两种通讯方式：同步通讯和异通讯。这两种通讯方式与常见的串口同步通讯以及以太网的同步通讯、异步通讯较小时的场合。

同步通信适用于OPC客户程序较少，数据量较小时的场合。异步通讯的效率更高，适用于多客户访问同一OPC服务器和大量数据的场合。

OPC的异步通讯有四种方式：

数据订阅，客户端通过订阅方式后，服务器端将变化的数据通过回调传送给客户程序。异步读，返回操作结果和数据值。异步写，返回操作结果和数据值。异步刷新，异步读所有Item的值。

OPC协议集分多种，用于SCADA数据采集的通常为OPC DA，可以获取设备运行的实时数据。但是OPC DA是基于微软Windows系统开发，它仅支持Windows操作系统，并且要实现双方的OPC 通讯还需要进行繁琐的DCOM配置。为了解决以上弊端，OPC UA 应运而生，它底层基于XML文本格式，从而彻底打破了操作系统的限制，无论是Linux、Unix、Mac，还是嵌入式的VxWorks都能够没有障碍的进行数据传输。作为最新的通讯协议，OPC UA配置简单，安全性高，是真正面向未来的技术。不远的将来，随着OPC UA 协议的普及，从上层的ERP、MES到底层的自控系统可以不用借助SCADA实现握手交互，那会是数字化工厂智能化工厂真正大放异彩的时候。