宝德大数据一体机BStor2000

系统概述

大数据一体机BStor2000是宝德科技自主研发,面向客户的业务需求,集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等功能为一体的软硬件平台,在25U/38U/42U/48U等高度的特制机柜中,集成宝德自研服务器、存储设备和高速网络设备,并部署模块化的大数据软件,支持EB级(1000PB)海量数据处理,可以应用于海量视频/图片/地图数据存储与分析处理、智慧城市数据共享交换与智能分析、电子政务数据整合等领域。

 

图表 1 大数据一体机示意图

主要功能介绍

 

图表2 大数据一体机架构

适应EB级底层存储:基础设施层采用集群分布式存储系统:Lustre,对EB级海量数据存储提供支持,并在不中断服务情况下支持弹性扩容,同时具有读写速度的高性能,单柜聚合读写带宽可达10GB/s。

数据虚拟化:采用云交换技术,根据数据整合标准规范体系,进行多源异构数据整合,能整合多来源、多种结构的数据,包括结构化数据和非结构化数据,并支持数据的实时接入,同时,根据用户需求,构建数据资源中心,提供统一数据访问接口,为用户提供透明的、按需的数据服务。

适应数据结构的混合存储策略:在数据资源中心,根据数据的不同类别,选择合适的存储持久化方式。针对结构化数据,采用分布式数据库的存储方式,例如MySQL Cluster或Oracle RAC方式;针对非/半结构化数据,采用分布式文件系统的集群存储方式,例如采用Hadoop或Spark系统进行存储。

提供灵活的数据访问:对上层应用,提供数据统一访问接口,支持数据的增删查改操作,访问接口支持SQL,可以多种方式提供,包括JAVA API,REST方式等,为数据目录、数据检索、数据统计分析、系统二次开发提供接口支撑,方便面向业务的深度数据挖掘和商业智能分析。

提供快速数据索引:接口部分通过引入索引模块、并行执行架构和优先读取本地磁盘的执行方式,使查询达到了实时完成、简单易用、高可靠安全的效能,使EB级的数据能够秒级处理,极大地提高了用户执行查询操作后的使用效率。

面向业务的数据分析与数据应用:提供数据目录、数据挖掘、数据检索、数据统计分析、报表展示等数据分析模块,支持数据关联分析、数据分类聚类、数据预测等数据应用,以及仪表盘、图表等多类型的数据可视化呈现。

数据安全体系:采用身份认证、加解密技术、网络隔离和日志审计技术,实现用户统一认证、访问控制、安全隔离、审计控制等安全保障。

配置参数

大数据一体机BStor2000配置参数

名称

推荐参数

数量

备注

数据管理节点PR4840R

4*E5-4600系列CPU(12C/10C/8C/6C)

128GB (8*16GB)(最大支持32个内存插槽,最大支持1TB DDR3 1600MHz内存)

8*1TB 2.5寸 7200/10000 RPM企业级SAS硬盘

4*1GE或2*10G光口或2*40G IB口

冗余电源

4U机架式服务器

2台

Active-standby模式,消除单点故障。

存储接入节点PR2730R

2*E5-2620 v2 CPU

64GB (8*8GB)(24内存插槽 最大支持768GB Reg/ECC DDR3 up to 1866Mhz)

4*600GB 7200/10000 RPM 企业级SAS硬盘

4*1GE或2*10G光口或2*40G IB口

冗余电源

2U机架式服务器

n台

n≥2,存储接入节用于接入多类型存储设备,包括NAS,SAN等。

阵列存储

64位存储处理器

支持IPSAN/NAS架构协议

支持SAS/SATA企业级硬盘

4U 36盘位

支持RAID 0、1、3、5、6、NRAID级别

4GB缓存

4*1GE或2*10G光口或2*40G IB口

36 *企业级 4TB SATA 7200RPM 3.5''

m台

48U单柜最大可集成8台阵列存储,单柜最大存储容量≥1PB。

网络交换机

千兆或万兆交换机或40Gb IB交换机

2台

冗余交换,多聚合网口

一体化机柜

专用机柜、PDU、电源线

集成服务器、存储设备、网络交换机、UPS、KVM、PDU 等

良好密封性能,低噪音

低PUE值(<1.5)

良好散热性能

高性价比

1台

25U/42U/48U,可根据客户需求订制

大数据软件

根据客户需求,部署大数据软件,实现数据虚拟化,为用户提供方便快捷的数据服务。提供一年免费软件技术支持。

产品可订制、灵活性高

可根据客户需求,进行产品订制,可订制单元包括:需要处理的存储容量大小、内聚合带宽需求、数据传输带宽需求、大数据处理功能与性能需求等。

 

产品特点

一体化架构

在机柜中集成服务器、存储设备、网络交换机、UPS、KVM、PDU 等,根据用户需求,定制硬件配置并预装大数据平台软件,形成软硬件集成的一体化架构,具有高性价比、一体化运维、良好密封性能、低噪音、低PUE值(<1.5)、良好散热性能等特点。

多业务支持

支持结构化数据、半结构化数据和非结构化数据等多类型的数据业务,支持多来源数据整合和数据统一视图,在支撑数据查询、数据统计和数据分析业务的同时,还可支撑深度数据挖掘、商业智能分析和数据可视化等业务。

高可靠性

大数据一体机具有超高可靠性,任意节点宕机,系统不停止服务;任意硬盘、网卡等部件损坏,不影响系统服务。系统能够自动容错,将数据分散在各个节点上,不会出现丢失数据的现象。任务处理过程中,当节点宕机,系统自动切换并保留现有进度,保障任务继续执行下去。

高实时性

大数据平台可以实时完成数据处理和分析工作,如数据处理、数据查询和统计分析等。数据处理不会出现数据堆积现象,各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。

可伸缩性

在不停止服务的情况下,增加处理节点,平台的处理能力自动增加;减少处理节点,平台的处理能力自动缩减。这样,可以做到与资源池的无缝对接,根据计算和存储任务的动态地申请或释放资源,最大限度地提高资源利用率。

高性价比

采用X86架构超高性价比的英特尔服务器组件构建大数据平台,用软件容错替代硬件容错,大大节省成本,在目标性能和可靠性能条件下,可比传统的小型机加商用数据库方案节省10倍左右成本。

比同类产品具有明显优势

指标

数据仓库

并行数据库

MapReduce平台

大数据一体机

扩展性

一般

实时性

一般

数据规模

PB

上百TB

10PB

1000PB

分布式处理能力

支持关系数据库

支持

支持

不支持

支持

成本

异构数据整合

支持

不支持

不支持

支持

 

Copyright 2014 Powerleader All Rights Reserved 宝德科技版权所有
网站备案许可证号:冀ICP备05001827号-1