检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后,需要将代码中USER_NAME = "x
> 重启服务”,输入当前用户密码并单击“确定”使配置生效。 步骤2:创建集群用户 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于安全认证和创建HetuEngine数据源,本示例以创建对应组件的管理员用户为例进行演示,请根据实际需求创建相关权限的用户。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
Kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。 父主题: Kudu应用开发概述
分隔符 --input-null-string '\\N' --input-null-non-string '\\N' -m 1 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 样例: sqoop export --connect
如果两个Master节点都被修改了RPC端口,则只需登录其中一个修改即可。 执行su - omm命令切换到omm用户。 如果是安全集群,需要执行kinit hdfs命令进行认证。 执行如下命令,将环境变量脚本加载到环境中。 cd ${BIGDATA_HOME}/MRS_X.X.X/1_8_Zkfc/etc source
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。 父主题: Kudu应用开发概述
节点的“/var/log/executor/exe.log”),发现是由于提交Flink作业用户的密码改变或者过期导致下载用户keytab认证文件失败,最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。 登录Manager页面,选择“系统设置 >
/user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hbase hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hive
F。 Guardian 新增组件,支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS Manager页面上进行Impala SQL作业管理。 Spark2x 升级到3
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source
开启鉴权。 'properties.hbase.security.authentication' = 'kerberos' 开启Kerberos认证。 【示例】 CREATE TABLE hsink1 ( rowkey STRING, f1 ROW < q1 STRING
实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题: Hive应用开发常见问题
Query查询Hudi COW表为例进行演示。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
0版本的集群为例,组件包含Hadoop、HBase组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 图1 集群购买成功 准备应用开发配置文件 集群创建成功后,登录FusionInsight Manager创建用于样例工程安全认证的集群用户。 选择“系统 > 权限 > 用户 >
keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user
WebUI与组件WebUI之间的单点登录,以及MRS与第三方系统集成时的单点登录。 此功能统一了Manager系统用户和组件用户的管理及认证。整个系统使用LDAP管理用户,使用Kerberos进行认证,并在OMS和组件间各使用一套Kerberos和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单
/opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式,完成Hive客户端登录。 安全模式,则执行以下命令,完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式,则执行以下命令,登录Hive