检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
该节点Oozie实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Oozie进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
在FusionInsight Manager首页,选择“集群 > 服务 > Kafka > 实例”,进入Kafka实例页面,重启2中主机名上的Broker实例。 重启Broker实例期间,若当前Topic为单副本且在当前Broker节点上,则会导致Kafka业务中断,否则无影响。
Presto查询报错“The node may have crashed or be under too much load” MRS集群如何使用公网访问Presto
allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx 说明: 集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群
KuduMaster业务IP地址:可以登录FusionInsight Manager,选择“集群 > 服务 > Kudu > 实例”查看KuduMaster实例业务IP地址获取。 tablet_id:为待调整的Tablet ID。 可以登录Manager页面,选择“集群 > 服务
否,执行9。 选择主DBServer实例,记录IP地址。 以root用户登录上述IP所在主机,执行ifconfig命令查看DBService的浮动IP在该节点是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行5。 否,执行9。 执行ping 浮动IP地址命令检查DB
be found for logger” 运行Manager应用报错“illegal character in path at index” 如何通过curl命令访问Manager REST API 父主题: Manager管理开发指南
DFS的C样例代码“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
样例代码“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
park2x实现。 本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用Hive对原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半
添加OBS日志级别配置 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop1”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop1”
column_a='value1'; 则估算查询的最终条数为1000000 * 1/50 = 20000条,选择率为2%。 以下以TPC-DS Q3为例来介绍CBO是如何调整Join顺序的。 select dt.d_year, item.i_brand_id brand_id,
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁回滚。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
Nimbus”,进入Nimbus实例页面。 查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。 是,执行4。 否,执行3.c。 勾选两个Nimbus角色实例,选择“更多 > 重启实例”,查看是否重启成功。 是,执行3.d。 否,执行4。 重新登录MRS集群详情页面,选择“组件管理
ate”权限,具体操作可参考添加Hive的Ranger访问权限策略。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。 kinit hbase_creates_user
keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,
力,集群中的每个组件对应一个服务名,提供一种服务。 角色:角色是服务的组成要素,每个服务由一个或多个角色组成,服务通过角色安装到节点(即服务器)上,保证服务正常运行。 实例:当一个服务的角色安装到节点上,即形成一个实例。每个服务有各自对应的角色实例。 各服务的部署原则如MRS集群部署方案说明所示。
如果该命令执行失败,则执行8。 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 实例”,勾选所有HMaster实例,选择“更多 > 滚动重启实例”,输入当前用户密码并单击“确定”,滚动重启所有HMaster实例。 HMaster实例重启成功后,在告警列表中查看该告警是否清除。