检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录Manager时界面报错“认证信息无效” Manager界面超时退出后无法正常登录 升级Python后无法登录Manager页面 修改集群域名后无法登录Manager页面 登录Manager界面后页面空白无内容 集群节点内安装了原生Kerberos导致登录集群失败 macOS使用浏览器访问MRS
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka
用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。 Flink WebUI功能仅支持MRS 3.1.0及之后版本。
principal:指定ZooKeeper服务端使用principal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。;
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段,若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。
而是合并显示为命令参考。 DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。 Flink WebUI特点 Flink WebUI主要有以下特点:
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;"
name' = 'flink_hive'的值为2新建的集群连接名称。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 作业SQL开发完成后,请勾选“基础参数”中的“开启CheckPoint”
XT),<kafkaService>指kerberos服务名称(如kafka),<kafkaDomain>指kerberos域名(如hadoop.<系统域名>),<topic>指要消费的kafka topic,<checkpointLocation> 指spark任务的checkpoint保存地址。
XT),<kafkaService>指kerberos服务名称(如kafka),<kafkaDomain>指kerberos域名(如hadoop.<系统域名>),<topic>指要消费的kafka topic,<checkpointLocation> 指spark任务的checkpoint保存地址。
提交拓扑命令执行完成后,提交成功的拓扑仍然在用户所对应的Storm集群中,不会出现在其他Storm集群中。 如果修改了集群域名,需要在提交拓扑前重新设置域名信息,进入cql语句执行命令,例如:set "kerberos.domain.name" = "hadoop.huawei.com"。
keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统
发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark
发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark
在的节点IP和系统域名。 ClickHouseServer的实例IP地址可登录集群FusionInsight Manager,然后选择“集群 > 服务 > ClickHouse > 实例”,获取ClickHouseServer实例对应的业务IP地址。 系统域名:默认为hadoop
protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名' ); CREATE TABLE printSink( `user_id` VARCHAR, `user_name` VARCHAR
SL_PLAINTEXT),<service>指kerberos服务名称(如kafka),<domain>指kerberos域名(如hadoop.<系统域名>),<checkpointDir>指checkpoint文件存放路径。 由于Spark Structured Streaming
_PLAINTEXT)。 <service>指kerberos服务名称(如kafka)。 <domain>指kerberos域名(如hadoop.<系统域名>)。 <checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。 由于Spark Structured