检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r工具来构建索引数据。 addIndicesWithData() 将索引添加到有数据的表中。此方法将用户指定的索引添加到表中,并会对已经存在的用户数据创建对应的索引数据,也可先调用该方法生成索引再在存入用户数据的同时生成索引数据。当数据表中存在大量数据时,不建议使用此接口。 删除索引
问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
如果您查看监控页面的指标太多,可以对指标进行设置,设置自己需要查看的指标。 如果指标太多,可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标,可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称,拖动选中指标可以对指标进行排序。 图3 设置指标图 父主题: HBase监控集群
Distribution的设置以及使用场景 如果OLAP表没有更新类型的字段,将表的数据分桶模式设置为RANDOM,则可以避免严重的数据倾斜(数据在导入表对应的分区的时候,单次导入作业每个batch的数据将随机选择一个tablet进行写入)。 当表的分桶模式被设置为RANDOM时,因为
删除索引 场景介绍 用户可以使用全局二级索引工具删除某个索引。 使用方法 在HBase客户端执行以下命令可删除某个索引: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename
可以采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表图 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群当前所处状态,包括创建中、服务中、亚健康、创建失败、冻结。 任务状态 集群任务的状态信息。 引擎类型 HBase\Doris\ClickHouse。
一致的情况,频繁出现数据丢失的问题,项目运行中,还有许多链接超时的情况。 分析原因 删除数据后,导致索引表和数据表不对应,导致异常。 处理方法 短期:通过离线流进行批处理,在第二天补数据。 长期。 lemon特性暂不支持数据删除操作,删除后会出现表数据不对应查询异常,去掉数据表TTL老化。
如果您查看监控页面的指标太多,可以对指标进行设置,设置自己需要查看的指标。 如果指标太多,可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标,可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称,拖动选中指标可以对指标进行排序。 图3 设置监控指标页面 如果想实时
索引信息查询 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 使用方法 在HBase客户端执行以下命令可索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer
选择对应节点查看监控信息。 如果您查看监控页面的指标太多,可以对指标进行设置,设置自己需要查看的指标。 如果指标太多,可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标,可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称,拖动选中指标可以对指标进行排序。
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
集群列表 集群管理列表按照集群状态顺序排列,服务中的集群显示在最前端。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群当前所处状态,包括创建中、服务中、亚健康、创建失败、冻结。 任务状态 集群任务的状态信息。 引擎类型 HBase\Doris\ClickHouse。
pp.abnorm.ALL。 columns 待导入数据的函数变换配置,目前Stream load支持的函数变换方法包含列的顺序变化以及表达式变换,其中表达式变换的方法与查询语句的一致。 exec_mem_limit 导入内存限制。默认为2GB,单位为字节。 strict_mode
be_host:节点地址。 be_webserver_port:节点端口。 设置回收站时间 回收站原理:删除的数据不会直接从磁盘上删除,而是先放入回收站,等待超时时间满足后,再从磁盘上直接删除。 设置回收站时间需要考虑的因素。 回收站时间过长,会累积垃圾文件,占用磁盘空间。 回收站时间过长,调用admin
样例代码说明 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发程序
尽量一次性写入数据,避免磁盘负载频繁变化。 手动删除垃圾文件,并调低垃圾文件超时时间,待数据均衡,且垃圾文件较少时,在调回垃圾超时时间,回收站时间设置请参考设置回收站时间。 父主题: 通用类
Doris监控集群 Doris集群支持的监控指标 设置告警规则 查看集群的监控信息 Doris监控页面 父主题: Doris用户指南
ClickHouse监控集群 ClickHouse集群支持的监控指标 设置告警规则 查看集群监控信息 ClickHouse监控页面 父主题: ClickHouse用户指南
HBase监控集群 HBase集群支持的监控指标 设置告警规则 查看集群的监控信息 HBase监控页面 父主题: HBase用户指南
目录下。 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。如果当前时间减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应