-
删除HBase二级索引 - MapReduce服务 MRS
删除HBase二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了索引的查询和删除等方法。 代码样例 以下代码片段在com.huawei.bigdata
-
删除HBase二级索引 - MapReduce服务 MRS
删除HBase二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了索引的查询和删除等方法。 代码样例 以下代码片段在com.huawei.bigdata
-
创建HBase全局二级索引 - MapReduce服务 MRS
选)、索引表预分区(可选,建议指定)。 在已有存量数据的表上创建全局二级索引,需要创建索引预分区,防止索引表出现热点,索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两
-
删除HBase二级索引 - MapReduce服务 MRS
删除HBase二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了索引的查询和删除等方法。 代码样例 以下代码片段在com.huawei.bigdata
-
配置DataNode预留磁盘百分比 - MapReduce服务 MRS
对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况,添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比,那样可以基于总的磁盘空间来预留磁盘百分比。 如果用户同时配置“dfs.datanode
-
ALM-13008 ZooKeeper Znode数量使用率超出阈值 - MapReduce服务 MRS
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据,导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 登录FusionInsight Manager,选择“集群
-
扩容数据盘 - MapReduce服务 MRS
0-LTS请参考数据盘扩容(一键扩容)进行数据盘扩容。 当集群版本为MRS 3.1.2-LTS.3、MRS 3.2.0-LTS.1时,可参考数据盘扩容(手动扩容)进行数据盘扩容。 使用磁盘扩容后所选节点下所有数据盘将扩容至目标容量。 约束条件 仅支持扩大容量,不支持缩小容量。 数据盘最大扩容至32T。
-
Presto如何配置其他数据源? - MapReduce服务 MRS
catalogs命令,确认可以查询Presto的数据源列表mysql。 执行show schemas from mysql命令即可查询mysql数据库。 MRS 2.x版本。 创建mysql.properties配置文件,内容如下: connector.name=mysql connection-ur
-
ALM-13006 Znode数量或容量超过阈值 - MapReduce服务 MRS
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据,导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据,或者自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 在FusionInsight Manager首页,选择“运维
-
ALM-13009 ZooKeeper Znode容量使用率超出阈值 - MapReduce服务 MRS
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据,导致ZooKeeper无法对外正常提供服务。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据 在FusionInsight Manager首页,选择“运维
-
备份元数据 - MapReduce服务 MRS
Service数据和NameNode数据。备份Manager数据包含同时备份OMS数据和LdapServer数据。 默认情况下,元数据备份由“default”任务支持。该任务指导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 需
-
元数据导出 - MapReduce服务 MRS
Hive元数据导出 Hive表数据存储在HDFS上,表数据及表数据的元数据由HDFS统一按数据目录进行迁移。而Hive表的元数据根据集群的不同配置,可以存储在不同类型的关系型数据库中(如MySQL、PostgreSQL、Oracle等)。 本指导中导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。
-
创建HBase表二级索引 - MapReduce服务 MRS
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例
-
元数据导出 - MapReduce服务 MRS
Hive元数据导出 Hive表数据存储在HDFS上,表数据及表数据的元数据由HDFS统一按数据目录进行迁移。而Hive表的元数据根据集群的不同配置,可以存储在不同类型的关系型数据库中(如MySQL、PostgreSQL、Oracle等)。 本指导中导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。
-
删除HBase表数据 - MapReduce服务 MRS
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中
-
配置DataNode预留磁盘百分比 - MapReduce服务 MRS
对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况,添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比,那样可以基于总的磁盘空间来预留磁盘百分比。 如果用户同时配置“dfs.datanode
-
数据采集 - MapReduce服务 MRS
数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题: Hudi常见问题
-
HBase全局二级索引样例程序开发思路 - MapReduce服务 MRS
HBase全局二级索引样例程序开发思路 HBase支持使用全局二级索引加速条件查询,通过本样例,您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1 用户信息表
-
HBase全局二级索引介绍 - MapReduce服务 MRS
指定。 索引在线变更 支持索引在线创建、删除和修改状态,不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时,可以触发索引修复,保障最终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。 HBase全局二级索引限制与约束
-
创建HBase表二级索引 - MapReduce服务 MRS
创建HBase表二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例