检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“kafkaadmin”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。
登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client
现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch
启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“kafkaadmin”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。
前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。
已安装HDFS客户端或者包括HDFS的客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码(普通模式不涉及)。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
已安装HDFS客户端或者包括HDFS的客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码(普通模式不涉及)。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
tar”,继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。 在
图2 删除用户 单击“确定”完成删除操作。 如果删除用户A后,再次准备重新创建同名用户A,如果该用户A已经提交过作业(客户端提交或者MRS console页面提交),那么需要在删除该用户A的同时,删除该用户A残留的文件夹,否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件
在Linux中调测JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的
序所需配置文件。 下载并解压客户端软件包。 MRS 3.3.0之前,登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
单击“系统 > 权限 > 用户组 > 添加用户组”,为样例工程创建一个用户组,例如developgroup。 单击“系统 > 权限 > 用户 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如developuser,按照表2选择相应的用户类型和需加入的用户组,并绑定角色developrole取得权限,单击“确定”。
”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图2 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo
zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。
zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-sql.py”和“datagen2kafka.sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。
默认以客户端执行用户(例如操作系统用户“root”或“omm”)自动进行认证,管理员或业务用户不显式感知认证,不需要kinit完成认证过程。 “用户名密码认证”:使用集群中“人机”用户的用户名与密码进行认证。 “无认证”:默认任意的用户都可以访问服务端。 父主题: 集群用户权限概述
单击“确定”,下载客户端配置文件至集群主OMS点。 以root用户登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Hive/config”路径下的表1中相关配置文件。 例如客户端软件包为“Fusi
在Linux环境中调测Hive JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客
utocheck”目录,然后执行vi keyfile命令,并搜索对应的异常文件名,可以看到该文件的正确权限。 对比当前主机上该文件的真实权限和1.e中获取到的文件应有权限,对该文件进行正确的权限和用户,用户组信息的修改。 等待一个小时,进入下一次检查,查看告警是否恢复。 是,操作结束。
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2