在查询速度上,Hbase仅次于REDIS这类缓存型数据库,但其在上千万、上亿的大数据的查询中,能快速定位到想要的数据。Hbase在列数据为空的情况下,是不会占用存储空间,这为用户节省不必要浪费的空间。再者高并发、低延迟的服务更促使我们采用此技术作为数据中心集中管理系统的重要构成环节。
依靠Hbase技术,将存储所有数据中心每个时间点的设备及相关数据,用于大数据分析和报表统计使用。
3 系统架构
本系统主要分三个层,采集层、云平台层、业务层。其中采集层主要是由UPS、PDU、电表、温湿度等动环设备与IT资产采集设备组成;云平台层主要是存储设备数据以及进行大数据分析;业务层则是展示给用户的数据中心集中管理系统。整体架构如图1所示。
由采集层的各个采集点将各自的数据汇总到监控主机后,通过MQTT协议与云平台间进行数据交换,经过云平台的筛选后,将属于系统的数据中心数据进行保存以及一系列的大数据算法运算分析并保存分析后的结果;当用户使用数据中心集中管理系统时,系统会与云平台间进行交互,将需要的数据经过REDIS缓存到内存中,让用户体验到高效的管理系统,而且支持多用户同时在线浏览访问该系统。
数据中心集中管理系统不仅为用户提供远程监测各个数据中心的所有设备实时数据(数据保存)及告警记录(当前告警、历史告警),了解数据中心实时情况;统计每类设备的各个告警发生比例以及告警设备数量,便于用户了解各数据中心告警分布情况并以此做出相应的安排。当系统检测到某些重要告警后,针对该告警做出预设定相应的联动处理,并通过短信、语音等方式实时通知相应人员,同时展示出发生点附近的监控摄像画面,利于维护人员勘察告警是否对数据中心造成大范围影响,实现数据中心的无人值守。同时该系统还加入了3D全景模型,通过三维直观、交互易用和实时数据对接的方式,实现数据中心园区、楼层、机房、机柜组合机柜、设备、端口及线缆七级,模拟真实数据中心场景,全三维虚拟现实浏览和全鼠标虚拟现实操作,点击各个设备可查看重要数据,并可模拟维护人员巡检数据中心,检测设备是否发生故障等。而且该系统增加了对IT服务设备的实时监控CPU、内存等重要数据,无需再采用另外一套系统来检测IT服务设备的情况,便于维护人员的操作,为数据中心维护减少了额外开支。