检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表格存储服务-集群ID 资源层级 当告警类型选择指标时,需选择告警规则的资源层级,可选择云产品或子维度,推荐选择云产品。 以弹性云服务器ECS为例:用户购买了云产品(ECS虚拟机),根据指标划分了多个子维度(包含磁盘、挂载点、进程等)。 云产品 监控范围 指定的集群监控 指定资源 监控对象 对节点的监控
表格存储服务-集群ID 资源层级 当告警类型选择指标时,需选择告警规则的资源层级,可选择云产品或子维度,推荐选择云产品。 以弹性云服务器ECS为例:用户购买了云产品(ECS虚拟机),根据指标划分了多个子维度(包含磁盘、挂载点、进程等)。 云产品 监控范围 指定的集群监控 指定资源 监控对象 对节点的监控
重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。
Core节点 计算规格:4U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
节点数量:5个。 BE节点 计算规格:8U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
删除表 功能介绍 删除在创建表中创建的副本表和分布式表。 语句1:使用drop table将集群中的本地表删除。 语句2:使用drop table将集群中的分布式表删除。 样例代码 private void dropTable(String databaseName, String
创建表的具体步骤,请参考创建HBase集群。 下载样例代码,然后参考准备开发环境章节准备开发环境。 如果您不准备使用样例代码的工程,需要将下载的样例代码中“cloudtable-example\lib”目录下的jar包拷贝到您的项目中,并在项目工程中将这些Jar包添加到依赖路径中。
hbase.regionserver.handler.count 100 -- [1,300] 100 RegionServer上的RPC服务器实例数,建议设置为100 ~ 300之间。 hbase.regionserver.metahandler.count 50 -- [1,100]
CloudTable为用户提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个工程。 下载样例工程 配置并导入工程 根据场景开发工程 提供了Java语言的样例工程,包含从建表、写入到删除表全流程的样例工程。 开发HBase应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
info("Exiting testCreateTable."); } 解释 (1)创建表描述符。 (2)创建列族描述符。 (3)添加列族描述符到表描述符中。 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。
最高可以拓展到数百个节点,支持存储超过10PB的超大规模数据。 稳定可靠:支持数据多副本存储,集群具备自愈功能,自身的分布式管理框架可以自动管理数据副本的分布、修复和均衡,副本损坏时系统可以自动感知并进行修复。 生态丰富:提供丰富的数据同步方式,支持快速加载来自本地、Hadoop
per_broker_scanner, 或者调整导入并发数。具体计算逻辑如下: 本次导入并发数=Math.min(源文件大小/最小处理量,最大并发数,当前BE节点个数) 本次导入单个BE的处理量=源文件大小/本次导入的并发数 其中:最小处理量 min_bytes_per_broker scanner默认为64M
日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO
此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。 了解Kafka请参见MRS产品介绍。 图1 数据同步流程图 使用限制 MRS集群未开启Kerberos认证。
查看审计日志 在开启了云审计服务后,系统开始记录CloudTable服务的操作日志。云审计服务管理控制台保存最近7天的操作记录。 本章节包含如下内容: 开启云审计服务 关闭审计日志 查看CloudTable的云审计日志 开启云审计服务 使用云审计服务前需要开启云审计服务,开启云审
图1 结果显示图 原因分析 由于创建表格的命令中携带了ON CLUSTER default_cluster,所以会在每一个节点上都创建一个本地表。 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER
datatime desc limit 10。 数据导入 【建议】在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。 【建议】建议低频攒批导入数据,平均单表导入批次间隔需大于30s,推
id相关日志或者BE创建成功,但汇报失败。 预分配内存失败。可能是表中一行的字节长度超过了 100KB。 Too many open files。打开的文件句柄数超过了Linux系统限制。需修改Linux系统的句柄数限制。 如果创建数据分片时超时,也可以通过在fe.conf中设置tablet_
准备开发环境 开发环境简介 准备运行环境 下载样例工程 配置并导入工程 父主题: HBase应用开发指导
add='idx2=>cf1' -Dindexspecs.covered.to.add='idx1=>cf1:[c3],[c4]' -Dindexspecs.coveredallcolumn.to.add='idx3=>true' -Dindexspecs.splitkeys.to.set='idx1=>[\x010