检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群节点内安装了原生Kerberos导致登录集群失败 问题现象 MRS集群创建成功后,登录集群Manager页面或者修改用户密码失败。 原因分析 登录到集群的Kerberos服务节点,查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、
e连接,可以查询由Hive on HBase所创建的表,支持通过SQL命令创建HBase表或创建外表关联HBase表。建表前,确认HBase中已存在对应HBase表,下面以HBase表table1为例说明。 通过Beeline工具创建HBase表,命令如下: create table
Roles”。 单击已创建的LakeFormation角色名称,进入“Role Edit”界面。 分别在“Users”区域单击“Select User”、“Groups”区域单击“Select Group”配置拥有该角色权限的用户或者用户组。 Users:MRS集群系统中已创建的用户。 G
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。 管理消息 进入Kafka服务页面: 登录FusionInsight Manager,然后选择“集群
lient”。 Spark服务运行状态正常。 在租户资源中添加租户,例如创建租户sparkstatic1,具体请参见添加MRS租户章节。 对于开启了Kerberos认证的集群,需要创建一个业务用户,例如创建用户“sparkuser”,该用户属于hive、hadoop、superg
重启服务”,输入当前用户密码,单击“确定”,并勾选“同时重启上层服务。”,单击“确定”,重启Hive服务。 进入beeline客户端,在创建表时指定Location为OBS文件系统路径。 beeline 例如,创建一个表“test”,该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”:
DBservice没有初始化好Hive的元数据库hivemeta。 DBservice的浮动IP配置有误,导致metastore节点IP无法正确连接浮动IP,或者是在与该ip建立互信的时候失败导致metastore启动失败。 处理步骤1 执行以下命令: source /opt/Bigdata/MRS_XXX/install/dbservice/
限。 在Spark2x中,在创建HBase的外表时,需要拥有Hive端database的“创建”权限。而在Spark 1.5中,在创建HBase的外表时,需要拥有Hive端database的“创建”权限,也需要拥有HBase端Namespace的“创建”权限。 用户使用load将
Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在L
选择“并行文件系统”,单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”,单击“创建”,创建指定目录的生命周期规则,相关参数详细介绍请参见配置生命周期规则。 表2 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。
自定义:全量自定义组件组合的MRS集群,MRS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区,创建集群时设置。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。
户名和密码的方式连接Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为安全模式(开启Kerberos认证)。 已安装集群客户端。 如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录K
Hive开源增强特性:支持创建临时函数不需要ADMIN权限的功能 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案: 方案一: 创建指定数据库只读权限角色(以default数据库为例,下同): create role ck_role on cluster
可修改或删除。 External Catalog 可以通过CREATE CATALOG命令创建一个External Catalog,创建后,可以通过SHOW CATALOGS命令查看已创建的Catalog。 切换Catalog 用户登录Doris后,默认进入Internal Ca
出到CSV文件进行备份,后续可以通过备份的CSV文件数据再进行恢复操作。 前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。 已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
使用Hue提交Oozie Loader作业 操作场景 该任务指导用户通过Hue界面提交Loader类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Loader”按钮,将其拖到操作区中。 在弹出的“Loader”窗口中配置“Job id”的值,例如“1”。然后单击“添加”。
用户使用Linux命令创建topic,如果是安全集群,用户执行命令前需要使用kinit命令进行人机认证,如:kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体操作请参考准备Flink应用开发用户。 创建topic的命令格式:
一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。 分割操作只对空Region起作用。 可在创建表时对表进行预分区,或者对某些region直接进行split操作来替代。 本例使用multiSplit进行多点分割将HBase表按照“A~