检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如下通过一个MapReduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个Mapreduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
登录Manager时界面报错“认证信息无效” 问题现象 登录MRS集群的Manager界面时,输入用户名及密码信息后登录失败,界面提示“认证信息无效”。 原因分析 当前输入的用户名或密码信息错误。 当前登录用户的密码已过期。 处理步骤 如果用户密码输入错误,请检查并输入正确密码。
修改集群域名后无法登录Manager页面 问题现象 用户修改域名后,通过console页面无法登录MRS Manager页面,或者登录MRS Manager页面异常。 原因分析 用户修改域名后,没有刷新executor用户的keytab文件,导致executor进程认证失败后不断循环认证,导致了acs进程内存溢出。
【Hue WedUI】Hue(主)无法打开web网页 问题背景与现象 访问Hue(主)的WebUI界面提示如下: Service Unavailable The server is temporarily unable to service your request due to
【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错 用户问题 在History Server页面中访问某个Spark应用的页面时,发现访问时出错。 查看相应的HistoryServer日志后,发现有“FileNotFound”异常,相关日志如下所示:
的用户名和密码,例如“admin”用户。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角
Manager界面登录用户被锁如何解锁 问题现象 Manager登录时显示:这个账户已经被锁住了,请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁,导致作业无法提交并无法进入Manager页面。 通过后台提交作业执行kinit 用户名操作时提示如下异常: kinit:
群名称、IAM用户同步等功能,集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云,可直接登录管理控制台,访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。
Web页面访问类 无法访问MRS集群Manager页面如何处理? 登录集群Manager常见异常问题 访问MRS组件Web UI界面常见异常问题
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
连接到OMS主节点,尝试连接浮动IP,查看当前主机名是否为上述Hue主实例节点。 su - omm ssh <浮动ip> 是,浮动IP正常,若Hue WebUI依然不能访问,请联系技术支持。 否,浮动IP被占用,执行5。 登录到集群内Hue主实例外的其他所有节点,执行以下命令,查看当前节点是否占用了Hue的浮动IP。
Manager页面加载卡顿 用户问题 MRS集群Manager页面加载卡顿。 问题现象 登录MRS集群的Manager页面,单击一个按钮需要等一分钟后才能加载到数据,部分按钮单击后卡顿无法访问。 原因分析 查看“/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script
仅需要连接两个MetaStore实例,则根据需要仅保留两个节点信息(具体以实际为准),单击“保存”。 选择“集群 > 服务 > Spark2x > 实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启实例。 父主题: Hive负载均衡
everyone.if.no.acl.found”参数为“true”,重启Kafka服务。 采用具有权限用户登录。 例如: kinit test_user 或者赋予用户相关权限。 需要使用Kafka管理员用户(属于kafkaadmin组)操作。 例如: kafka-acls.sh --authorizer-properties
Forbidden 使用当前用户访问Yarn WebUI界面,无法查看作业信息: 使用当前用户登录Hue WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对应组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS
所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/db
磁盘或其他存储介质问题导致merge过慢或者中止。 登录Manager页面,检查是否存在磁盘容量不足或其他磁盘告警,如果存在,请按照告警指导处理。 如果是磁盘容量不足,也可以联系客户删除部分过期数据,释放空间,快速恢复业务。 Zookeeper异常导致merge无法正常执行。 登录Manager页面,检查Z
API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/oozienormal-examples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-example
@#$%^&*()-_=+|[{}];:',<.>/? 不能和用户名或倒序的用户名相同 - 登录方式 MRS集群内节点的登录方式。 密码 可使用root用户以密码方式登录节点,需要手动自定义root用户密码。 密钥对 使用密钥方式登录集群节点,可从下拉框中选择密钥对,如果已获取私钥文件,