分布式海量数据管理系统Bigtable数据服务器设计

为了减少ibm大型数据服务器的操作复杂性,该文提供了一个基于j2ee的软件系统的实现,用于对ibm大型数据服务器的管理和操作,从而大大提高了ibm大型数据服务器的易用性和可维护性。

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行hash。本文提出了一种目录哈希的新算法,针对目录进行hash,并把一个目录内的元数据集中存储。本算法克服了文件hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。

为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充性以及高可用性等性能。

对数字音频广播(dab)传输系统进行了概述,探讨了dab复用系统的整体架构,给出了dab复用系统中数据服务器的设计方法及其软件实现。

分布式监控系统由多个监控子系统组成,负责监控多种设备。根据现场监测设备种类多、结构复杂等特点,针对工控信息、管理信息集成等需求,提出了一种基于数据交换的数据服务器结构。该数据服务器实现了控制系统实时数据采集、处理、存储、发布的统一管理,采用数据服务的在线监督,将工控网络同管理网络分隔开,实现了数据的安全、动态发布。系统采用数据驱动的交换式结构,数据处理组件化,系统结构灵活、扩展方便。

本文采用siacon-smartopc开发工具包,针对omroncs1plc开发出串口通信程序动态连接库(dynamiclinklibrary),利用smartopc提供的应用编程接口(api)函数调用串口通信函数,实现了omroncs1plc串口通信的opc数据服务器开发设计。

介绍了实时数据服务器的特点和设计过程,分析了其中的若干关键技术:多线程、oracle调用接口oci(oraclecallinterface),socket和select函数的优点。通信协议采用基于有连接的tcp/ip通信协议,软件设计采用阻塞的通信模式和oci连接数据库,利用select函数定时中断阻塞,进行错误冗余处理。经现场实际测试,该设计方式能够满足全网发电机功角监测的实时数据处理要求。

新型的广域测量系统主要由位于厂站端的apmu装置、通讯系统、位于调度中心的数据服务器和图形监视界面这几个部分组成,在整个系统的工作流程中wams中心站对测量数据进行处理,并提供各类图形化的应用功能。wams中心站是整套wams的神经中枢,数据服务器又是中心站的核心,所有的数据处理、储存和其他高级功能的实现都由它完成。

本文通过指出传统技术的缺陷引出opc技术,介绍了opc数据服务器程序设计的理论基础和设计方法,并给出了opc数据服务器的总体框架以及用wincc作为opc客户端对opc服务器进行连接和测试的方法。

本文主要介绍了数据服务器的硬件系统设计及软件系统设计。本数据服务器是上位机与现场仪表进行数据交换的桥梁,上下都采用rs485接口。数据服务器通过人为设定的采样周期对现场仪表进行采样,读回数据并以一定的格式进行存储。数据服务器根据上位机发来的命令进行相应的操作,并返回数据给上位机,包括读取当前时间、所连仪表起始地址、单台或全部仪表的当前数据、历史数据。

pvfs并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为i/o瓶颈。该文通过增强pvfs的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。

针对虚拟测试系统vts(virtualtestsystem)计算量大、仿真时间长、效率低等问题,提出了基于分布式的虚拟测试系统dvts(distributedvts),介绍了dvts的组成;设计了vts数据服务器,实现了各仿真系统之间数据生产者与数据消费者的分离,使得系统结构灵活扩展方便;采用数据驱动模型实现各仿真系统之间的数据交换,优化了网络的数据交换性能。

　介绍opc技术核心———com技术,分析opc数据服务器技术及其接口,给出利用dll类型快速开发工具进行opc数据服务器程序开发的步骤和示例。

结合opc数据服务器设计原型,提出了opc服务器开发工具的设计方案,给出了开发工具的接口函数集合。

提出了基于qt设计scada系统数据服务器应用软件的设计思想,利用qt具有跨平台运行的特性,可以从根本上解决常规的数据服务器软件对异构服务器要编制不同的软件且软件开放性较差的问题。具体分析了数据服务器应用软件的功能模块,并给出了关键模块用qt的类以及相关函数的实现过程。

介绍了opc技术产生的背景,通过指出传统技术的缺陷引出opc技术,说明了opc技术的优势所在。接着简单介绍了opc规范,并描述了它的主要特点与发展状况,进一步说明了开发opc应用程序的必要性。重点介绍了opc服务器程序设计的理论基础和设计方法,其中包括它的核心技术comdcom技术的介绍,opc服务器程序设计总体框架的介绍。最后对opc服务器开发方式进行了分析与比较,说明了使用atl和mfc开发com组件的优缺点。

用于过程控制的标准数据接口(opc)程序开发的关键之处是总体框架的建立,其框架的实现可通过微软提供的开发com组件的基本工具atl(活动模板库)来完成。为此介绍和分析了用atl设计opc服务器的一般性方法和设计步骤,进而介绍了对opc服务器的测试,并结合力控组态软件对设计的opc服务器的图形组态来说明opc服务器的简单应用。

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了mds之间大量元数据的物理迁移.实验测试证明系统具有良好的i/o性能.

介绍了数据服务器技术在旋翼塔测控软件中的应用,重点介绍了各个模块功能的实现方案,以及在方案实施过程中如何解决网络堵塞难题的关键技术。

计量泵被广泛应用于各种流体工业中,国内外对此的研究多集中于工艺结构改良和机电一体化系统设计,而鲜有多泵、泵群远程监控和协调调度方面的研究。针对实际工业中计量泵通常需要协同工作的现状,分析和改进了计量泵网络化监控方案,使之满足对大规模计量泵群的远程监控需求;设计了一套基于java的专用数据服务器软件,实现了监控系统的数据交换和数据维护;针对数据量大引起的系统性能下降问题,结合环形缓存机制提出了一种环形对象池技术的设计和实现方案;最后模拟不同的网络负载条件测试了数据延时时间。研究结果表明,服务器能够保证数据的实时性,能够应用于大规模计量泵群的远程监控中。

本文分析了plc控制系统集成中存在的一些问题,就此提出了利用opc技术可以很好的解决此问题。然后对opc数据服务器的结构进行了总体的介绍,分析了fx系列plc的串口通信标准并利用wtopcsvr.dll工具包开发fx系列可编程控制器的opc数据服务器。经测试表明:该opc服务器符合opc规范,简化了plc控制系统的集成。

介绍在核能科学领域,基于linux操作系统的稳定的数据服务器的搭建过程。通过安装和配置linux系统的vsftpd、apachehttp以及openssh服务软件包完成对服务器ftp服务、web服务和ssh服务的搭建,并对过程中需要注意的诸如主机访问控制、不同操作系统的字符集编码转化等问题进行分析和解决。