检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 properties.group.id:Kafka的使用者组ID,Kafka作为source时必选。
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
如果修改了集群kerberos域名,需要在代码中增加kerberos.domain.name的配置,并按照hadoop.expr=toLowerCase(%{default_realm}%{KerberosServer})规则配置正确的域名信息。例如:修改域名为HUAWEI.COM,则配置为hadoop
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<zkNode1_IP>:<zkNode1_Port>
principal 为ZooKeeper服务端Principal,格式为“zookeeper/hadoop.系统域名”, 其中系统域名的值可通过登录Manager界面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 父主题: 配置HBase应用安全认证
在python3-examples/pyCLI_sec.py中,修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MR
依赖于具体的Connector,以及Connector相关的底层数据源或存储系统。 数据源集群域名与HetuEngine集群域名不能相同,HetuEngine也不支持同时对接两个相同域名的数据源(Hive,Hbase,Hudi数据源)。 数据源集群与HetuEngine集群节点业务平面网络互通。
name hadoop.系统域名.com 10.96.101.32:21007:kafka服务器的IP和端口。 系统域名:用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 SSL加密配置 服务端配置。
交作业,可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_H
户类型选择“人机”,用户组根据需求添加“hadoop”、“yarnviewgroup”和“hadooppmanager”,并添加“System_administrator”、“default”和创建的角色,单击“确定”完成Flink作业用户创建(首次创建的用户需使用该用户登录Manager修改密码)。
yCLI_sec.py”中,修改“hadoop.hadoop.com”为“hadoop.实际域名”。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集
FlinkSQL Kafka和upsert-kafka Connector支持限流读 本章节适用于MRS 3.3.0及以后版本。 使用场景 使用FlinkSQL的Kafka、upsert-kafka Connector消费数据时需要限流。 使用方法 在创建的Source流表中添加“subtask
x/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息,导致DNS查找失败无法显示此网页。 解决措施: 建议用户使用FusionInsight代理去访问Spark JobHistory页面,即单击如图2中蓝框所示的Spark
什么是区域和可用区? 通常用区域和可用区来描述数据中心的位置,用户可以在特定的区域、可用区创建云服务资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Reg
x/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息,导致DNS查找失败无法显示此网页。 解决措施: 建议用户使用FusionInsight代理去访问Spark JobHistory页面,即单击如图2中蓝框所示的Spark
examples”包的“FemaleInfoCollector”类的代码中,test@<系统域名>、user.keytab和krb5.conf为示例,实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件,并将keytab文件和krb5.conf文件放入到“conf”目录,安全登录方法如下代码所示。
像仓库,具体可参考配置华为开源镜像仓。 操作步骤 获取样例代码。 下载样例工程的Maven工程源码和配置文件,请参见获取代码样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults
keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统
在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:21007, hostname2:21007, hostname3:21007;修改代码中的域名;修改“用户自己申请的机机账号名称、keytab文件名称”。
在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:9092, hostname2:9092, hostname3:9092;修改代码中的域名。 用户可登录FusionInsight