• 金水科教园区科教云数据中心建设规划方案

    2018-04-13 17:04:01 11


    一.建设背景

    园区现状

    郑州金水科教园区(以下简称“园区”)位于郑州市东北部,从2015年正式批复《郑东新区北部区域概念性总体规划》以来,园区始终将建设“生态城”“科技城”“智慧城”作为其发展理念。研究确定了 “一区引领、双自联动、三化并进、四链融合”的发展目标和推进思路。

    杨金高科于2010年8月由管委会和省创业中心共同出资成立的专业科技企业孵化器公司。主要工作任务是按照国家级高新区建设的要素,依托科技系统的资源优势和郑州金水科教园区的环境条件优势,重点围绕园区产业的发展需求,进行园区信息化和公共服务平台建设,积极配合园区各部门开展服务工作,并为园区企业提供专业化的创新创业科技服务。同时,积极培育面向市场的科技服务经营业务,为企业提供量身定制的科技创新、创业、科技服务等各类专业化服务。2015年公司获认定“省级众创空间”,2016年获批“省级科技孵化器组建”,2017年获认定“市级科技企业孵化器”/“省级科技企业孵化器”认定材料已递交。

    公司针对园区已入驻的企业取得了一定得效果,展开了一系列科技服务工作,2016年至今共服务企业400余次,与105家企业签订了科技服务合同,在孵企业93家(其中高新技术企业4家、河南省科技型中小企业10家。2017年新增知识产权68件,新增入孵企业33家,新增就业110人。),形成发明专利58项,实用新型及外观设计专利112项,软件著作权134项。在服务企业的基础上,开展了项目路演、专题讲座、项目交流、创业培训等形式的活动50余场。

     “提高自主创新能力、建设创新型园区”是园区发展战略的核心和提高综合实力的关键。

     ()企业需求

    当前,园区集中了国内知名的移动信息安全,共享经济等优势产业企业。其中移动信息安全企业科技研发业务较重,对于资源需求比较弹性,并且其研发数据的安全性要求很高;共享经济企业需要对终端用户数据采集整合,保证数据安全,同时共享经济企业对外发布高并发访问的业务应用,对于平台资源的性能要求以及访问的连续性要求很高。

    金水科教园区科教云数据中心建设基于当前主流先进的云计算、超融合、大数据等技术,为园区服务企业提供合理弹性的资源分配,提高资源利用率,保障其业务应用不间断持续运行;提供多副本数据机制,保障数据安全稳定;提供高性能的读写机制,保障企业业务的大并发高速访问;实现数据整合、存储、治理、分析应用,实现数据可视化、发挥数据价值。

    通过园区科教云数据中心建设,汇聚创新资源,优化创新环境,丰富创新成果,与园区本地的企业融合在一起,建立科研、研发、生产、运行、服务等完整产业链。实现信息技术产业链再造和价值提升,整合与优化社会资源配置,提高社会生产效率,降低社会生产成本。通过科教云建设,把园区打造成为区域领先,较强竞争力,可持续发展的公共技术服务团体。

    二.建设规划

    为了满足未来业务发展的需要,有效地解决数据安全、集中管控、快速部署、跨平台访问、节能环保等问题,本方案通过虚拟化、分布式及超融合云平台、大数据等主流先进技术互来解决现有数据中心的各种挑战,随着虚拟化及云计算的日益成熟,计划将其数据中心新业务系统运行在的基于互联网基因的超融合基础架构平台上。

    一期基础架构建设,结合云平台、服务器虚拟化、桌面虚拟化、应用虚拟化、存储虚拟化、超融合、云盘等系统搭建基础架构,同时部署大数据弹性传输系统、大数据支撑系统、大数据集群系统构建数据采集挖掘平台;

    二期在现有基础架构平台之上,结合采集挖掘的海量数据,部署大数据复杂网络管理系统、分布式数据资产管理系统、大数据多维立方体分析系统,实现大数据环境的数据统一管理与资产视图。其将多中心、复杂数据环境等异构数据湖中的各种数据进行统一管理,提升数据质量、保障数据安全、提供数据服务和数据可视化,实现数据资产可管、可用、可控、可视,为企业以及管理机构提供决策依据。                                   

    三、平台建设方案

    1. 平台建设总体架构

    解决方案将融合基础设施、横向扩展架构和软件定义存储的各种优势结合在一起,可提供极佳的数据中心虚拟化体验,而其成本仅为传统服务器和存储器的一小部分。每一台超融合服务器均包含CPU、内存、网络、SSD或闪存、以及HDD存储功能。超融合存储控制器是一台虚拟机,运行于每台服务器上,可将本地存储转换成为共享存储。联想超融合完整集群中的所有可用存储均作为单一的文件系统提供,称为超融合分布式文件系统。 

    图片12.png


    尽管没有专门的SAN或NAS,.超融合一体机仍然能够无缝提供高可用性、DRS和容错等企业虚拟化功能。为了将性能最大化,存储控制器将特定虚拟机的所有数据保存在同一服务器上,从而将时延最小化,而将SSD闪存的优势最大化。 

    同时,构建虚拟化基础架构时,通常采用的方式是使用服务器通过存储网络连接存储,这样的传统架构无法满足虚拟化环境不断变化的需求。低效的网络存储成为最大的成本开销,并且它使得虚拟化架构更为复杂。对于相对静态的工作负载而言,基于网络的存储架构能够很好的满足需求。对于虚拟化环境而言,尤其是当融合前云计算正在日益普及,使得整个数据中心越来越动态,虚拟机的创建和迁移依赖于大量的共享资源。这些特征使得管理虚拟机及其底层的基础架构变得越来越复杂。  由于创建虚拟机变得越来越容易,导致数据中心内部数据量快速增长。在企业内部,使用虚拟桌面替代原来的工作桌面越来越成为趋势。

    服务供应商需要帮助客户解决他们无力承担的虚拟化项目所带来的成本和管理上的额外开销。在传统的集中存储的架构上,虚拟机的蔓延带来了越来越多的成本、性能和管理压力。 

    2.系统拓扑

    本架构在数据中心中承担着计算资源池和分布式存储资源池的作用,极大地简化了数据中心的基础架构,而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力。

    图片13.png

    本期资源池与IT基础架构网络联通,并可以进行统一的资源池管理,全局调度,以确保最优的系统集成性和可管理性。  同时超融合平台自身的存储数据复制技术,可以为后续规划容灾平台,基于以太网络的数据复制。

    3.超融合云平台系统方案介绍

    1超融合云平台功能介绍  

    超融合云平台具有丰富的虚拟化架构业务功能,软件功能架构如下图所示:


    图片14.png

    超融合云平台通过资源交互层的云引擎支持WinServer、VMware、XenServer、PowerVM等多种虚拟化技术,并通过虚拟化管理层的异构虚拟化管理中心提供丰富的业务功能。主要的业务功能模块有资源生命周期管理、资源部署/配置、资源调度、备份管理、资源模板管理、虚拟服务器管理、资源池管理、监控管理、物理服务器管理、存储管理、网络管理、权限管理等功能模块。

    (2)超融合云平台系统架构

    图片15.png

    (3)超融合云平台组件

    宏云+云服务中心宏云+云服务中心是超融合云平台的统一管理界面,包括了云桌面管理、云平台管理、硬件控制告警、备份一体化及云安全等。

    (4)混合云管理

    混合云管理功能目前可以实现阿里云的主机管理,可以通过VPN隧道实现公有云和私有云业务互通。

    (5) 云桌面管理

    云桌面管理模块可以联动AD域实现WEB页面对AD域的用户管理,可实时监控到云桌面的使用情况,连接状态以及故障原因等。

    桌面组管理:桌面组在实际中对应着一个部门或者是项目组成员

    桌面列表:展示一个桌面组中的桌面以及当前桌面的连接用户

    桌面详情:显示虚拟桌面的运行状态,IP地址,配置信息等

    6)硬件监控

    硬件监控模块从根本上将运维人员从繁杂的机房运维中解放出来,无需定期到机房中进行巡检统计工作,只需配置好IPMI,云服务中心会进行全面的硬件监控,包括CPU、内存、网卡、硬盘、风扇和电源等,硬盘可监控到是否在位、是否出现慢盘现象,可在页面点亮硬盘故障灯,方便管理员进行硬件更换。

    7资源预警

    资源预警从计算资源及存储资源层面对集群进行监控,包括CPU使用率、内存使用率和存储使用率和网卡的传输速率。

    8备份一体化

    超融合数据的备份,可以给单台虚拟机做快照,也可以将用户的个人数据备份到集群外的备份一体机中,保障企业的数据安全

    备份一体机与超融合云平台无缝对接,可以直接备份超融合云平台上面的任意一台或多台虚拟机,可实现全量备份或增量备份。

    4.宏云+云管理平台

    云管理平台对虚拟化数据中心的所有资源,包括服务器、存储、网络、虚拟机、镜像资源进行统一管理,实现硬件资源的弹性伸缩。

    WinCenter是.超融合系统的管理平台,其运行在虚拟化引擎WCE之上,提供资源管理、资源控制、自动化运维、智能策略调度等特性,为虚拟化数据中心提供IT服务与运营所需要的基础服务能力,提供管理虚拟化数据中心的计算、存储、网络资源提供统一的用户界面。通过WinCenter API,可以构建多种云计算解决方案,比如桌面云,基础架构云等。WinCenter内置的WCE云引擎,可管理其它虚拟化如小型机与x86架构等异构环境,为WinServer、VMware ESXi、XenServer和PowerVM等虚拟化技术提供统一的管理界面。

    1)资产管理

    WinCenter对数据中心的机房、硬件设备、软件等资产进行统一管理,管理人员实时掌握这些资产的利用情况,从而进行有效的分配和规划。

    2物理机管理

    WinCenter可管理虚拟化的物理服务器或非虚拟化的物理服务器,即混合架构的数据中心计算资源,并支持小型机和x86服务器两种异构的物理服务器。具备以下功能:

    物理服务器的发现与纳管,配置管理;

    虚拟化软件的部署;

    物理机存储管理;

    网络管理;

    虚拟化服务器物理机的实时监控,监控历史。

    3虚拟机管理

    WinCenter虚拟机管理具备但不限于如下功能:

    提供虚拟机的创建、复制、修改、查询和删除;

    使用fastclone技术快速批量创建虚拟机;

    提供对虚拟机的全生命周期管理(虚拟机的创建,加电断电,开关机,资源变更,删除等);

    虚拟机的在线/离线迁移;

    虚拟机网络管理,VLAN管理,Qos的配置;

    虚拟机虚拟磁盘的管理,扩容;

    虚拟机保护:磁盘快照,快照恢复,使虚拟机状态恢复到指定时刻的状态;

    虚拟机文件备份,全量备份,增量备份;

    虚拟机转换为模板;

    提供对虚拟机运行实例的状态监控(CPU利用率,内存使用率,磁盘空间,网络流量)和信息查询,并可查询虚拟机历史状态。

    (4)资源池管理

    资源池管理主要包括计算资源池、存储资源池和网络资源池,根据服务实例的需求灵活地为其分配和定位计算资源、存储空间和网络资源等。资源池管理实现硬件资源的统一规划、统一定位、统一分配以及HA管理。

    计算资源池提供如下功能:

    资源池配置信息;

    资源池容量管理及容量趋势;

    资源池映射信息管理,可以看到包含了哪些主机和虚拟机;

    资源池统计信息管理和仪表盘;

    资源池物理机HA。

    存储资源池将超融合一体机的本地硬盘整合在一起并抽象化,对外提供整体的出口和存储空间管理,让它看上去如同一个资源。创建分布式存储池,创建虚拟磁盘,虚拟磁盘挂载,同时提供存储池的容量管理功能,在资源申请和实施中体现存储的预留和实际占用的信息,存储的精简置备等功能。

    网络资源池将多个网络资源整合为一个整体,对外提供统一的网络资源分配和集中式管理。系统提供以子网的方式规划管理网络资源的功能,一个vlan或网段都可以看作是一个子网,子网下包含一段IP,系统可以根据网段地址自动生成IP,并且可以通过设置IP的状态,屏蔽或启用这些IP。系统支持批量修改IP的某些属性,如状态、DNS、网关等。

    (5)模板管理

    WinCenter提供对不同类型的虚拟机模板进行分级分类管理的功能,对应生成不同的模板,管理员对模板资源进行维护管理功能,包括导入标准化模板、配置、查询和删除等。

    6异构平台

    WinCenter可以同时提供对VMware及PowerVM的纳管,用户旧平台可以继续运行,通过WinCenter云管理平台实现统一管理,无需在多个平台之间切换。

    7虚拟化引擎(WinServer)

    WinServer是.推出的完整服务器虚拟化引擎。WinServer基于强大的Xen Hypervisor,对数据中心硬件资源进行虚拟化,是构建虚拟化数据中心的基础软件。WinServer同时针对运行在其上的虚拟服务器的Windows和Linux操作系统进行性能优化。

    WinServer兼容业界主流服务器、存储设备、网络设备,可以轻松的与现有网络和存储基础架构集成;支持在线资源扩容、在线迁移、资源池高可用性等增加数据中心的灵活性和业务连续性;允许用户以命令行接口、WinCenter虚拟化管理软件等多种方式管理WinServer或与第三方软件集成。通过应用WinServer虚拟化,能够极大提高设备利用率,控制基础设施规模,降低基础设施成本。

    虚拟机 (VM) 是完全由软件组成的计算机,可以像物理机一样运行自己的操作系统和应用程序。VM 的运行方式完全类似于物理机,并且包含自己的虚拟(基于软件的)CPU、RAM、硬盘和网络接口卡(NIC)。

     8WinServer实现分布式存储

    “软件定义存储(SDS,Software Defined Storage)”是当代数据中心技术演进的主要趋势之一。在近10年来各行业开放架构的积累,特别是大型互联网运营商IT基础架构的成功经验基础上,SDS生态系统逐步走向成熟。SDS的核心价值在于,完全基于已有的标准化通用硬件平台开发出与硬件无关的存储软件产品,以非锁定的方式实现数据存放的持久化和长期的有效性。

    软件定义存储(WinStore)以模块化的方式运行在WinServer中而不是运行在虚拟机上面,WinStore可以将多台物理机上面的本地SSD和HDD组成一个虚拟的存储池,利用多台x86服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

    下图是WinStore的业务逻辑架构,文件分片后以多副本的方式写入底层的HDD硬盘,所有的副本都分散在不同的节点上面,避免单点故障导致数据丢失。

    图片16.png

    9WinStore具有以下功能特性

    分布式、无共享架构

    采用基于策略的分布式哈希表数据路由算法,使得客户端无需查找元数据节点,通过计算就能直接寻址到数据所在的存储节点,大大缩短了数据IO访问路径,提升了系统性能。同时,整个系统也无集中管理和控制节点,每一个数据节点都有能力承担另一数据节点的功能,节点之间通过内部高效的分布式协议完成相互协作和通信。这种去中心化,无状态的全分布式数据处理架构是系统能实现水平、线性扩展能力的关键,有力的保证了整个系统无单点故障,无性能瓶颈。

    全冗余可靠性设计

    假设在真实环境下,硬件不是绝对可靠的,磁盘可能损坏,服务器可能宕机,网络可能失效等等。为处理这些不可预期的硬件错误,保证数据的完整性和业务的可用性,通过全冗余设计等一系列软件层面的可靠性设计,来弥补硬件不可靠带来的数据可靠性和可用性问题。例如: 采用了多副本冗余机制,基于策略配置,实现数据及其副本跨硬盘,跨存储节点,跨机架的存储,并通过强一致性复制技术确保各个数据副本的一致性,这样即便一个数据服务器甚至整个机架停机,也完全不影响数据可靠性和可用性。

    为块存储优化

    分布式存储的架构和数据路径完全为一个块存储系统而设计和优化,读写操作流程都非常简单,以尽可能少的占用资源;

    采用强一致性复制协议保证数据多副本的完整性和一致性;

    充分利用SSD的高性能特点,通过智能缓存算法,将热数据缓存到快速的SSD中,以应对随机I/O访问。

    多数据副本

    WinStore没有使用传统的RAID模式来保证数据的可靠性,而是采用了多数据副本机制,基于策略配置,实现每个数据块的多个副本分布到不同的硬盘,不同的服务器,甚至不同的机架上,即便一个数据副本所在的节点损坏,也不会影响数据的可用性和可靠性。这种方案下,采用2副本的存储集群能达到5个9的数据可靠性,而采用3副本的存储集群则能达到7个9以上的数据可靠性,超融合一体机默认采用2副本的方式存储数据。

    数据一致性

    分布式存储系统采用强一致性复制技术确保每个数据块多个副本的数据一致性。同时还支持读修复机制,当读取某一个数据块的某个副本数据失败时,系统会判断错误类型,如果是磁盘扇区读取错误,可以通过从其他副本读取数据,然后重新写入该副本的方法进行恢复,从而保证数据副本总数不减少。

    自动化数据重建

    分布式存储系统具备强大的数据保护和恢复机制。在系统因为节点或者磁盘发生故障导致数据不一致时,通过内部的自检机制比较不同节点上的副本分片,自动发现数据故障并启动数据恢复机制,在后台恢复数据。由于数据被分散到多个不同的存储节点上保存,数据恢复时,在不同的节点上同时启动恢复,每个节点上只需恢复一小部分数据,多个节点并行工作,有效避免单个节点恢复大量数据所产生的性能瓶颈,对上层业务的影响做到最小化。

    精简置备

    支持精简配置(Thin Provision)功能,可以为用户分配比实际物理存储容量更多的虚拟存储资源,存储资源只有被真正使用的时候才被统计为消耗的资源,以提升存储空间利用率。

    硬盘热插拔

    当磁盘损坏需要更换的时候,无需停机断电,用好的磁盘直接替换损坏的磁盘即可,可以自动恢复故障磁盘的数据。

    10WinServer的优势

    动态资源模型

    建立层次化的资源模型,实时采集各种物理、虚拟资源信息及其服务关系,构建统一、动态的资源库。

    智能化的资源调度策略

    通过独有的基于门限的虚拟资源重配置优化算法、基于负载预测的资源调度算法,实现资源的智能弹性调度和按需分配。

    使用云引擎进行异构平台管理

    建设混合架构的IT基础架构,同时管理小型机、X86架构服务器,并针对各类虚拟化构建云中间件,实现异构资源的集中统一管理。

    面向服务的插件式系统架构

    采用基于OSGI的面向服务插件式的系统架构,系统功能被划分成不同的服务,通过预设服务扩展点来扩充系统功能,可在服务的在请求时刻获取最新目标服务元数据,实现服务间的动态依赖绑定。并且具有完整、动态的服务生命周期管理,可在不需要重启系统的前提下添加新服务、更新已有服务、删除过期服务、修改服务配置、动态改变服务行为等。

    资源池管理技术及自动化

    资源池管理技术主要实现对物理资源、虚拟资源的统一管理,根据用户需求实现虚拟资源(虚拟机、虚拟存储空间等)的自动化生成、分配、回收和迁移,用以支持用户对资源的弹性需求。资源池管理技术可以在物理主机发生故障或需要进行维护操作时,将运行在其之上的虚拟机迁移至其它物理主机,同时保证用户业务不被中断。

    综上所述,本项目对于提升大数据平台价值、加快推进项目进度、加速应用创新速度、降低总体建设成本、使数据提供部门和数据使用部门紧密联系相互提升自身能力,因此在本项目对于大数据项目建设是必要的,帮助我们更快、更好、更经济地实现大数据项目目标。

    新浪一分彩全能免费计划