检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 重新提交任务。 查看任务是否成功执行。 是,执行9。 否,执行5。 检查Yarn执行任务时是否出现异常。
如何给集群内用户添加租户管理权限? Hue有配置账号权限的功能吗? 为什么IAM子账号添加了MRS权限却无法在控制台提交作业? 用户A如何查看用户B创建的Hive表? 如何避免Kerberos认证过期? 已创建的MRS集群如何修改Kerberos状态?
以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,根据错误日志分析原因。
在界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警,建议对节点进行扩容,或者联系MRS集群管理员提升CPU。 检查该告警是否恢复。 是,处理完毕。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。
使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 单击“Policy Name”名称为“all - database, table, column”操作列的。
用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
vi 客户端安装目录/Hive/HCatalog/conf/hivemetastore-site.xml 使用Ranger管理员用户rangeradmin登录Ranger管理页面,在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”,单击“Add
登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”,下载“完整客户端”到“远端主机”上,即下载客户端程序到新申请的弹性云服务器上。 登录存放下载的客户端的节点,再安装客户端。
MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Storm > 服务配置”,“参数类别”选择“全部配置”。
对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限。具体操作请参见创建用户。
对系统的影响 ZooKeeper服务端开启SSL通道加密传输后,将导致一定程度的性能下降。 ZooKeeper服务端开启SSL通道加密传输,需重启ZooKeeper组件以及上层依赖组件,期间将导致服务不可用。 ZooKeeper服务端开启SSL通道加密传输,需重新下载客户端。
使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Policy Name”名称为“all - topic”操作列的。
准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。