IBM大型数据服务器管理系统的设计与实现

新型的广域测量系统主要由位于厂站端的apmu装置、通讯系统、位于调度中心的数据服务器和图形监视界面这几个部分组成,在整个系统的工作流程中wams中心站对测量数据进行处理,并提供各类图形化的应用功能。wams中心站是整套wams的神经中枢,数据服务器又是中心站的核心,所有的数据处理、储存和其他高级功能的实现都由它完成。

pvfs并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为i/o瓶颈。该文通过增强pvfs的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。

结合opc数据服务器设计原型,提出了opc服务器开发工具的设计方案,给出了开发工具的接口函数集合。

设计适用于grass海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用bloomfilter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。

介绍了opc技术产生的背景,通过指出传统技术的缺陷引出opc技术,说明了opc技术的优势所在。接着简单介绍了opc规范,并描述了它的主要特点与发展状况,进一步说明了开发opc应用程序的必要性。重点介绍了opc服务器程序设计的理论基础和设计方法,其中包括它的核心技术comdcom技术的介绍,opc服务器程序设计总体框架的介绍。最后对opc服务器开发方式进行了分析与比较,说明了使用atl和mfc开发com组件的优缺点。

用于过程控制的标准数据接口(opc)程序开发的关键之处是总体框架的建立,其框架的实现可通过微软提供的开发com组件的基本工具atl(活动模板库)来完成。为此介绍和分析了用atl设计opc服务器的一般性方法和设计步骤,进而介绍了对opc服务器的测试,并结合力控组态软件对设计的opc服务器的图形组态来说明opc服务器的简单应用。

文章介绍了曙光3000超级服务器机群文件系统cosmos中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,并给出了实现方案及系统性能的测试模型和测试结果。

本文采用siacon-smartopc开发工具包,针对omroncs1plc开发出串口通信程序动态连接库(dynamiclinklibrary),利用smartopc提供的应用编程接口(api)函数调用串口通信函数,实现了omroncs1plc串口通信的opc数据服务器开发设计。

本文通过指出传统技术的缺陷引出opc技术,介绍了opc数据服务器程序设计的理论基础和设计方法,并给出了opc数据服务器的总体框架以及用wincc作为opc客户端对opc服务器进行连接和测试的方法。

本文主要介绍了数据服务器的硬件系统设计及软件系统设计。本数据服务器是上位机与现场仪表进行数据交换的桥梁,上下都采用rs485接口。数据服务器通过人为设定的采样周期对现场仪表进行采样,读回数据并以一定的格式进行存储。数据服务器根据上位机发来的命令进行相应的操作,并返回数据给上位机,包括读取当前时间、所连仪表起始地址、单台或全部仪表的当前数据、历史数据。

提出了基于qt设计scada系统数据服务器应用软件的设计思想,利用qt具有跨平台运行的特性,可以从根本上解决常规的数据服务器软件对异构服务器要编制不同的软件且软件开放性较差的问题。具体分析了数据服务器应用软件的功能模块,并给出了关键模块用qt的类以及相关函数的实现过程。

介绍了实时数据服务器的特点和设计过程,分析了其中的若干关键技术:多线程、oracle调用接口oci(oraclecallinterface),socket和select函数的优点。通信协议采用基于有连接的tcp/ip通信协议,软件设计采用阻塞的通信模式和oci连接数据库,利用select函数定时中断阻塞,进行错误冗余处理。经现场实际测试,该设计方式能够满足全网发电机功角监测的实时数据处理要求。

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量.

为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充性以及高可用性等性能。

针对虚拟测试系统vts(virtualtestsystem)计算量大、仿真时间长、效率低等问题,提出了基于分布式的虚拟测试系统dvts(distributedvts),介绍了dvts的组成;设计了vts数据服务器,实现了各仿真系统之间数据生产者与数据消费者的分离,使得系统结构灵活扩展方便;采用数据驱动模型实现各仿真系统之间的数据交换,优化了网络的数据交换性能。

对无线传感器网络采集到的田间信息进行有效的接收、处理是基于无线传感器网络的农田环境监测系统的重要组成部分,该文针对农田无线传感器网络数据采集的特点,对系统的数据处理服务器的构建进行了研究,设计并实现了一个基于非阻塞式sockets套接口的数据通信服务器。该服务器综合利用静态线程池与i/o复用技术,采用循环队列作为数据缓冲区,较好地解决了农田无线传感器网络对tcp多连接长时间通信,大量田间实时监测数据并发接收、处理性能要求高的问题;采用面向对象设计方法,抽象出类的层次结构,提高了程序代码的复用性。

介绍了数据服务器技术在旋翼塔测控软件中的应用,重点介绍了各个模块功能的实现方案,以及在方案实施过程中如何解决网络堵塞难题的关键技术。

　介绍opc技术核心———com技术,分析opc数据服务器技术及其接口,给出利用dll类型快速开发工具进行opc数据服务器程序开发的步骤和示例。

分布式监控系统由多个监控子系统组成,负责监控多种设备。根据现场监测设备种类多、结构复杂等特点,针对工控信息、管理信息集成等需求,提出了一种基于数据交换的数据服务器结构。该数据服务器实现了控制系统实时数据采集、处理、存储、发布的统一管理,采用数据服务的在线监督,将工控网络同管理网络分隔开,实现了数据的安全、动态发布。系统采用数据驱动的交换式结构,数据处理组件化,系统结构灵活、扩展方便。

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行hash。本文提出了一种目录哈希的新算法,针对目录进行hash,并把一个目录内的元数据集中存储。本算法克服了文件hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

分布式监控系统由多个监控子系统组成，负责临近多种设备。本文根据现场监测设备种类多、结构复杂等特点，针对工控信息、管理信息集成等需求，提出了一种基于数据交换的数据服务器结构。该数据服务器实现了控制系统实时数据采集、处理、存储、发布的统一管理，采用数据服务的在线监督，将工控网络同管理网络分隔开，实现了数据的安全、动态发布。系统采用数据驱动的交换式结构，数据处理组件化，系统结构灵活、扩展方便。

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了mds之间大量元数据的物理迁移.实验测试证明系统具有良好的i/o性能.