检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:安全认证hive on OBS,认证类型选择KERBEROS,OBS按钮开启状态。
Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:非安全认证hive on hdfs,认证类型选择SIMPLE,OBS按钮关闭状态。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
r工具来构建索引数据。 addIndicesWithData() 将索引添加到有数据的表中。此方法将用户指定的索引添加到表中,并会对已经存在的用户数据创建对应的索引数据,也可先调用该方法生成索引再在存入用户数据的同时生成索引数据。当数据表中存在大量数据时,不建议使用此接口。 删除索引
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
hdfs 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:安全认证hive on hdfs,认证类型选择KERBEROS,OBS按钮关闭状态。
Distribution的设置以及使用场景 如果OLAP表没有更新类型的字段,将表的数据分桶模式设置为RANDOM,则可以避免严重的数据倾斜(数据在导入表对应的分区的时候,单次导入作业每个batch的数据将随机选择一个tablet进行写入)。 当表的分桶模式被设置为RANDOM时,因为
问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡住,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
删除索引 场景介绍 用户可以使用全局二级索引工具删除某个索引。 使用方法 在HBase客户端执行以下命令可删除某个索引: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename
为什么HBase无法写入数据? 问题现象 HBase无法写入数据,导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时,多线程创建并复用同一个Connection,不必每个线程都创建各自Conn
一致的情况,频繁出现数据丢失的问题,项目运行中,还有许多链接超时的情况。 分析原因 删除数据后,导致索引表和数据表不对应,导致异常。 处理方法 短期:通过离线流进行批处理,在第二天补数据。 长期。 lemon特性暂不支持数据删除操作,删除后会出现表数据不对应查询异常,去掉数据表TTL老化。
索引信息查询 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 使用方法 在HBase客户端执行以下命令可索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer
pp.abnorm.ALL。 columns 待导入数据的函数变换配置,目前Stream load支持的函数变换方法包含列的顺序变化以及表达式变换,其中表达式变换的方法与查询语句的一致。 exec_mem_limit 导入内存限制。默认为2GB,单位为字节。 strict_mode
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
如果您持有多台到期日不同的表格存储服务器,可以将到期日统一设置到一个日期,便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
be_host:节点地址。 be_webserver_port:节点端口。 设置回收站时间 回收站原理:删除的数据不会直接从磁盘上删除,而是先放入回收站,等待超时时间满足后,再从磁盘上直接删除。 设置回收站时间需要考虑的因素。 回收站时间过长,会累积垃圾文件,占用磁盘空间。 回收站时间过长,调用admin
样例代码说明 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发程序
RegionServer上的RPC服务器实例数,建议设置为100 ~ 300之间。 hbase.regionserver.metahandler.count 50 -- [1,100] 50 RegionServer中处理优先请求的程序实例的数量,建议设置为20 ~ 100之间。 hbase.hstore