检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
YARN YARN基本原理 YARN HA方案介绍 Yarn与其他组件的关系 YARN开源增强特性 父主题: 组件介绍
urityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import
影响范围 涉及版本 MRS 3.x 涉及模块 管理面:不涉及该漏洞 租户面:Manager(Web+Controller+nodeagent)、Kafka、Flink MRS 3.1.0.x执行以下章节: 修复Manager Web 修复Manager Controller 修复Manager
节点管理类 MRS集群内节点的操作系统是什么? 升级Master节点规格需要关机吗? MRS是否支持变更MRS集群节点? 如何查询MRS节点的启动时间? MRS集群内节点互信异常如何处理? MRS集群是否支持调整Master节点规格? MRS集群内节点的sudo log能否清理? MRS集群磁盘如何分区的?
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
会等待返回任务运行的状态,由于AM无返回,客户端会一直处于等待状态。 为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。
会等待返回任务运行的状态,由于AM无返回,客户端会一直处于等待状态。 为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。
hadoop_kerberos_principal”的值,以“用户名@域名”的方式进行设置,例如:hdfsuser@HDFS_HADOOP.COM。 如果ClickHouse对接的是HDFS的HA模式,还需要执行以下步骤: 登录HDFS集群的Manager首页,选择“集群 > 服务 > HDFS > 实例”
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ResourceManager可用直接内
组件管理类 MRS集群中安装的组件能否删除? 如何查看MRS集群各组件配置文件路径? Hive服务运行状态为亚健康是否会影响上层业务? 如何获取MRS集群ZooKeeper的IP地址和端口?
jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常,临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection refused 通过Yarn WebUI查看作业日志时提示“Could not access
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Worker进程GC时间过长,会影响Worker进程运行的性能,甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
存使用率小于或等于阈值的85%时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50203 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger
> 日志 > 下载”。 在“服务”中勾选待操作集群的“DBService”。 设置日志收集的主机,可选项,默认所有主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此
自定义分隔符过长会影响解析效率,降低数据导入速度,且会导致有效数据占比率降低,使得文件占用过大,因此不建议使用过长的分隔符。 自定义分隔符必须为可见字符。 自定义分隔符白名单,避免可能的注入问题,目前支持的分隔字符包括:字母、数字、特殊符号(`~!@#$%^&*()\\-_=+\\[\\]{}\\\\|;:'\"
ClickHouse ClickHouse基本原理 ClickHouse与其他组件的关系 ClickHouse开源增强特性 父主题: 组件介绍
Loader Loader基本原理 Loader与其他组件的关系 Loader开源增强特性 父主题: 组件介绍
New Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Flink用户组新增OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例