检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
直接执行Yarn命令。例如: yarn application -list 客户端常见使用问题 当执行Yarn客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为1
该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值,例如“/bin/cat”。配置“Reducer”的值,例如“/usr/bin/wc”。然后单击“添加”。
该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值,例如“/bin/cat”。配置“Reducer”的值,例如“/usr/bin/wc”。然后单击“添加”。
1.0.9补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
配置完成后立即生效,不需要重启服务。 日志格式 Ranger的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2020-04-29 20:09:28
确保上传的Jar是安全的,Flink默认开启了沙箱功能,可参考为指定Jar包配置权限通过配置参数“flinkserver.security.policy”的值设置沙箱权限,参考关闭FlinkServer安全沙箱配置参数“security.manager.enabled”的值关闭沙箱功能。
端用户“zkcli/hadoop.hadoop.com@HADOOP.COM”的日志。 ZooKeeper中的用户详情: 在ZooKeeper中,不同的认证方案使用不同的凭证作为用户。 基于认证供应商的要求,任何参数都可以被认为是用户。 示例: SAMLAuthenticatio
3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(3
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。
\=中的4种类型字符。 向证书中心申请证书时,请提供访问密钥文件的密码并申请crt、cer、cert和pem格式证书文件,以及key和pem格式密钥文件。申请的证书需要有签发功能。 更换HA证书(MRS 3.x及之后版本) 以omm用户登录主管理节点。 选择证书和密钥文件的生成方式:
Manager界面,单击右上角的,在下拉框中单击“关于”,在弹框中查看Manager版本号。 单击右上角的配置按钮。配置“Spark Master”的值,例如“yarn-cluster”。配置“Mode”的值,例如“cluster”。 在打开的配置界面中,单击“删除+”,添加删
tion: KeeperErrorCode = NoAuth for /flink/application_1545397824912_0022 可能原因 高可用配置项未修改。 由于在Flink的配置文件中,“high-availability.zookeeper.client.
Manager界面,单击右上角的,在下拉框中单击“关于”,在弹框中查看Manager版本号。 单击右上角的配置按钮。配置“Spark Master”的值,例如“yarn-cluster”。配置“Mode”的值,例如“cluster”。 在打开的配置界面中,单击“删除+”,添加删
务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving RM restart功能未启用。 如果Work-preserving
问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving RM restart功能未启用。 如果Work-preserving
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 该节点的时间与集群其他节点的时间不同步,可能会导致该节点上的某些FusionInsight应用无法正常运行。如果该节点与其他k
hash.field:进行分桶时计算Hash值的字段,必须为主键的子集,默认为Hudi表的主键。该参数不填则默认为recordkey.field。 MRS 3.2.1及以后版本对于同一张Hudi表,可以被Flink、Spark引擎的bucket索引交叉混写。 作业1:FlinkSQL流式写入MOR表。
际数据连接的类型为xxx! RDS实例虚拟私有云的ID xxx与集群的虚拟私有云ID xxx不一致! RDS实例子网的ID xxx与集群的子网ID xxx不一致! RDS实例的安全组ID xxx与集群的安全组ID xxx不一致! 集群已经存在相同位置的数据连接,xxx! 数据连接已经被其他集群使用(xxx)