加入收藏 | 设为首页 | 会员中心 | 我要投稿 威海站长网 (https://www.0631zz.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MySql教程 > 正文

弥补MySQL和Redis短板:看HBase怎么确保高可用

发布时间:2019-03-25 22:22:01 所属栏目:MySql教程 来源:张小渔
导读:HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的分布式存储系统,在大数据相关领域应用广泛。 HBase系统支持对所存储的数据

ConfigMap

  • ConfigMap是Kubernetes用来存储配置文件的资源对象,通过ConfigMap可以将外部配置在启动容器之前挂载到容器中的指定位置,并以此为容器中运行的程序提供配置信息;
  • 重构之后管理系统中,所有HBase的组件配置都存放至ConfigMap之中,系统管理人员会根据需-要预先生成若干HBase的配置模板存放到K8S系统的ConfigMap中;
  • 在业务方提供出HBase服务申请时,管理人员通过业务资源的需求结合配置模板,为申请的HBase集群组件渲染具体的hbase-site。xml以及hbase-env。sh等HBase配置相关的文件再存放到ConfigMap中;
  • 最后在容器启动时,k8s会根据deployment将ConfigMap中的配置文件Mount到配置中指定的路径中;
  • 和Deployment的操作类似,每一份ConfigMap也都会标记上标签,将相关的ConfigMap和对应的集群和应用关联上。

弥补MySQL和Redis短板:看HBase怎么确保高可用

ConfigMap存档

2、组件参数配置

在引入了ConfigMap功能之后,之前创建集群的请求信息也随之改变。

  1. RequestData 
  2.   "name": "performance-test-rmwl", 
  3.   "namespace": "online", 
  4.   "app": "kubas", 
  5.   "config_template": "online-example-base.v1", 
  6.   "status": "Ready", 
  7.   "properties": { 
  8.     "hbase.regionserver.codecs": "snappy", 
  9.     "hbase.rootdir": "hdfs://zhihu-example-online:8020/user/online-tsn/performance-test-rmwl", 
  10.     "hbase.zookeeper.property.clientPort": "2181", 
  11.     "hbase.zookeeper.quorum": "zookeeper01,zookeeper02,zookeeper03", 
  12.     "zookeeper.znode.parent": "/performance-test-rmwl" 
  13.   }, 
  14.   "client_type": "java", 
  15.   "cluster_uid": "k8s-example-hbase---performance-test-rmwl---example" 

其中config_template指定了该集群使用的配置信息模板,之后所有和该HBase集群有关的组件配置都由该配置模板渲染出具体配置。

config_template中还预先约定了HBase组件的基础运行配置信息,如组件类型,使用的启动命令,采用的镜像文件,初始的副本数等。

  1. servers: 
  2.   "master": { 
  3.     "servertype": "master", 
  4.     "command": "service hbase-master start && tail -f /var/log/hbase/hbase-hbase-master.log", 
  5.     "replicas": 1, 
  6.     "image": "dockerimage.zhihu.example/apps/example-master:v1.1", 
  7.     "requests": { 
  8.       "cpu": "500m", 
  9.       "memory": "5Gi" 
  10.     }, 
  11.     "limits": { 
  12.       "cpu": "4000m" 
  13.     } 
  14.   }, 

(编辑:威海站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读