检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
date_parse('2020/07/20', '%Y/%m/%d');-- 2020-07-20 00:00:00.000 Java日期函数 在这一章节中使用的格式化字符串都是与Java的SimpleDateFormat样式兼容的。 format_datetime(timestamp, format)
配置Oozie作业执行终点 功能描述 流程任务执行的终点，每个流程任务有且仅有一个该节点。 参数解释 End Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name end活动的名称 样例代码 <end name="end"/> 父主题：
配置Oozie作业执行终点 功能描述 流程任务执行的终点，每个流程任务有且仅有一个该节点。 参数解释 End Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name end活动的名称 样例代码 <end name="end"/> 父主题：
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 问题 在Superior调度模式下，如果出现单个NodeManager故障，可能会导致Mapreduce任务失败。 回答 正常情况下 ，当一个application的单个task的attem
管理规范，记录每个任务场景的结果并签名确认。 表1 项目一览表 例行维护周期 任务场景 例行维护内容 每天 检查集群服务状态 检查每个服务的运行状态和配置状态是否正常，是否为绿色。 检查每个服务中，角色实例的运行状态和配置状态是否正常，是否为绿色。 检查每个服务中，角色实例的主备状态是否可以正常显示。
平滑次数为1，百分比指标小于或等于阈值时，告警恢复；平滑次数大于1，百分比指标小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16000 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
ALM-18013 上个周期运行失败的Yarn任务数超过阈值（2.x及以前版本） 告警解释 上个10min的周期内，运行失败的YARN任务数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生YARN任务运行失败的数量大于设定的阈值时候，会发生该告警。如果在下个1
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 问题 在Superior调度模式下，如果出现单个NodeManager故障，可能会导致Mapreduce任务失败。 回答 正常情况下 ，当一个application的单个task的attem
使用Hue提交提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下，用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。
Manager首页，选择“集群 > 服务 > DBService > 更多 > 重启服务”重启DBService服务，检查是否启动成功。 服务在重启过程中将不可用。另外，依赖该服务的上层服务也将受到影响。 是，执行8。 否，执行9。 等待约两分钟，查看告警列表中的DBService服务不可用告警是否恢复。 是，处理完毕。
如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。
已创建的MRS集群如何修改Kerberos认证的开启状态？ 答： MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 父主题： 用户认证及权限类
管理Storm拓扑 操作场景 用户可以使用Storm的WebUI管理拓扑。“storm”用户组的用户只能管理由自己提交的拓扑任务，“stormadmin”用户组的用户可以管理所有拓扑任务。 操作步骤 访问Storm的WebUI，请参考访问Storm的WebUI。 在“Topology summary”区域，单击指定的拓扑名称。
等于阈值时，告警恢复；如果平滑次数大于1，NameNode的RPC队列平均时间小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14022 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
/客户端安装目录 source ./bigdata_env source ./Spark2x/component_env kinit sparkuser 上传CSV中的文件到HDFS的“/data”目录： hdfs dfs -put /opt/test.csv /data/ 连接到CarbonData
该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。解决方法是修改业务逻辑，单线程插入数据到同一张表或同一个分区。 父主题： Hive常见问题
ALM-14010 NameService服务异常（2.x及以前版本） 告警解释 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。 NameService服务恢复时，告警清除。 告警属性 告警ID 告警级别 可自动清除
1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。 未开启Kerberos认证的集群，执行如下命令删除HDFS上任务目录。 hdfs dfs -rm -r
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
