检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase全局二级索引介绍 场景介绍 使用HBase二级索引可以加速带Filter的条件查询,支持HIndex(本地索引,即Local Secondary Index,简称为LSI)和全局二级索引(Global Secondary Index,简称为GSI)。全局二级索引相较于本地索引
用户可登录Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。“spark2x/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。
kerberos.domain.name 域名 MRS服务集群的Kerberos域名,未开启Kerberos认证的集群无需配置。
查询HBase全局二级索引信息 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 查询HBase全局二级索引信息 在HBase客户端执行以下命令可查看索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer
批量构建HBase全局二级索引数据 场景介绍 在用户的表中预先存在大量数据的情况下,可基于MapReaduce任务,批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建,如需重建索引数据,请先修改索引状态。 数据表中存在大量数据时
修改HBase全局二级索引状态 索引状态介绍 索引状态反映了索引当前的使用情况,全局二级索引支持以下五种状态: ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成该索引的索引数据
设置新权限命令如下: setAcl /test sasl:用户名@<系统域名>:权限值 例如仅保留userA用户的所有权限,删除anyone用户的rw权限。
表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE DATABASE/TABLE/VIEW
数据源为Linux本地磁盘,指定目录时需要此目录已经存在,系统用户“omm”对此目录以及此目录上层的每一级目录拥有“r”和“x”的权限。指定文件时需要此文件已经存在,“omm”对此文件拥有“r”的权限,同时对此文件上层的每一级目录拥有“r”和“x”的权限。
创建一级租户的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。
基于全局二级索引查询HBase表数据 基于索引查询HBase表数据 在具有索引的用户表中,可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时,查询速度远快于原表查询。 索引的命中规则如下: 多个AND条件查询 当用于查询的列至少包含索引的一个列时
准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。
properties.kerberos.domain.name:为“hadoop.系统域名”。可登录FusionInsight Manager界面,选择“系统 > 域和互信”中查看集群实际域名。
使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引,HBase提供了可通过MapReduce功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。具体使用场景如下: 在表中预先存在大量数据的情况下,可能希望在某个列上添加索引
本例中“krb_host”参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.
本例中“krb_host”参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.
聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
数据源集群域名与HetuEngine集群域名不能相同,HetuEngine也不支持同时对接两个相同域名的数据源(Hive,Hbase,Hudi数据源)。 数据源集群与HetuEngine集群节点业务平面网络互通。 父主题: 使用HetuEngine
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HBase