检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export
cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群开启了Kerberos认证,执行以下命令认证用户,否则跳过此步骤。 kinit Hive业务用户 执行以下命令登录源端集群的Hive客户端。 beeline 执行以下命令创建表“export_test”。
'table2', 'cf' 通过HBase插入数据。 put 'table2', '1', 'cf:cid', '1000' 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。
name对应新建的用户hbaseuser,userKeytabName和krb5ConfName值对应从准备HBase应用开发用户中获取的认证相关文件名称,如下(未开启Kerberos认证集群可跳过此步): user.name=hbaseuser userKeytabName=user.keytab krb5ConfName=krb5
r.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。 该指定目录需要与之前“job
r。 普通集群(Kerberos关闭)增加了登录MRS Manager认证功能,默认初始账号为:admin密码为MrsDefault@123,首次登录请及时修改登录密码。安全集群登录MRS Manager认证的账号名密码为用户自己设定值。 由于1.7.1 集群的健康检查中存在一项
Jar到Hive的“${BIGDATA_HOME}/third_lib/Hive”目录下,并设置该Jar包的权限为大于或等于750。 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。
properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级 使用CDM服务迁移数据至MRS
client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限和HDFS的操作权限: kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名: export HADOOP_USER_NAME=hbase
Kafka端口号:登录Manager后,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,集群已启用Kerberos认证(安全模式)搜索并获取“sasl.port”参数的值,集群未启用Kerberos认证(普通模式)搜索并获取“port”的值。 例如,写入数据内容如下: {"LO_ORDERKEY":"1"
以客户端安装用户,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。 kinit hbase_creates_user 执行以下命令,进入Hive客户端: beeline 执行以下命令,同时在Hive
x之前版本:-Xmx2048M -Djava.net.preferIPv4Stack=true MRS 3.x及之后版本: 集群已开启Kerberos认证:-Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false
时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。 该指定目录需要与之前“job
客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 将指定版本的MapReduce tar包存放至HDFS中应用程序可以访问的目录下,如下所示: