检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
authentication.principal 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户名。 authentication.keytab 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper
本工程提供了一个MapReduce统计数据的应用开发示例,实现数据分析、处理,并输出满足用户需要的数据信息。 另外以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Presto presto-examples
例如增加以下服务配置参数: fs.obs.access.key:通过AK/SK方式访问OBS时访问OBS的密钥ID。 fs.obs.secret.key:通过AK/SK方式访问OBS时访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 m
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed
除Node_priv以外的所有权限。 Grant_priv 权限变更权限,允许执行授权、撤权、添加/删除/变更用户或角色等操作。 拥有该权限的用户不能赋予其他用户“node_priv”权限,除非用户本身拥有“node_priv”权限。 Select_priv 对数据库、表的只读权限。 Load_priv
thread.compaction.throttle”,适当调大其值。 若未同步IAM用户,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 保存配置后,选择在业务低峰期进行重启或滚动重启HBase服务使配置生效。 观察界面告警是否清除。
binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwell用户(其中XXXXXX是密码,请
x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 完成Hive客户端的安装。例如安装目录为“/opt/client”。 获取一个拥有管理员权限的用户,例如“admin”。
authentication.principal 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户名。 authentication.keytab 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper
在运行的任务将失败。 HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟。 Mapreduce 直接重启 重启期间无法访问作业历史页面查看历史任务信息,不影响作业运行。 直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 Yarn
集群的计费模式,MRS只支持“包年/包月”模式。 包年/包月 区域 待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。
期内CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > CPU
打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机地址及网口。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命
MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接MapReduce集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程,可根据实际业
doop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 商用 Ranger简介 2 MRS支持Alluxio组件 Alluxio是一个面
当大量请求过来时,超过访问频次限制的请求将会放到缓冲区,超过缓冲区大小的请求会返回503错误。 默认值:50 取值范围:1~1000 lb_limit_zone_rate http请求表示允许相同标识的客户端的访问频次,单位r/s、r/m。例如:30r/s,表示允许每秒访问30次。 默认值:30r/s
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在浏览器地址栏的URL地址后追加“/servicehealth”重新访问,“statusCode”对应的值即为当前Oozie的服务健康状态码。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
ZNode的名称,建议与Hudi表名相同 无 hoodie.write.lock.zookeeper.connection_timeout_ms zk连接超时时间 15000 hoodie.write.lock.zookeeper.port zk端口号 无 hoodie.write.lock
加乃至故障等。 处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,查找告警“ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值”,根据告警信息找到状态异常的MemArtsCC实例节点,并从附加信息中找到当前告警值。