检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推
rk DataSource逻辑，需将此配置改为“true”。 配置方法：在“spark-defaults.conf”中新增以上配置或通过set spark.sql.hive.convertInsertingPartitionedTable=true命令在Spark会话中配置。 重启相关组件
告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 12201 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
sh”脚本时的密码；x.x.x.x为集群Manager的浮动IP。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 查看是否打开“Security Cookie”开关，即查看配置“flink-conf.yaml”文件中的“security
添加用户并将ClickHouse对应角色绑定到该用户 登录Manager，选择“系统 > 权限 > 用户”，单击“添加用户”，进入添加用户页面。 “用户类型”选择“人机”，在“密码”和“确认密码”参数设置该用户对应的密码。 用户名：添加的用户名不能包含字符“-”，否则会导致认证失败。 密码：设置的密码不能携带“$”、“
选择要修改的配置项进行修改。 单击“保存”，然后单击“确定”，成功后等待大约30秒，配置自动生效。 表1 HetuEngine日志列表 日志类别 日志文件名 描述 安装启停日志 prestart.log 启动前预处理脚本日志。 start.log 启动日志。 stop.log 停止日志。
kafka_topic_list 消费Kafka的Topic。 kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型，JSONEachRow表示每行一条数据的json格式，CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter 每个消息体（记录）之间的分隔符。
3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 19034 紧急：默认阈值为500 重要：默认阈值为300 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
修改用户组信息：在要修改信息用户组所在的行，单击“修改”，修改用户组信息。 导出用户组信息：单击“导出全部”，可一次性导出所有用户组信息，可导出“TXT”或者“CSV”格式。 用户组信息包含用户组名、描述、用户列表、角色列表等。 导出用户组信息操作仅适用于MRS 3.x及之后版本。 删除用
HetuEngine计算实例运行的任务失败率小于50%时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45009 提示 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
告警恢复。 该告警仅适用于MRS 3.5.0及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 50231 紧急 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名
启用MRS集群间拷贝功能 登录其中一个集群的Manager界面。 MRS 2.x及之前版本，选择“服务管理 > Yarn > 服务配置”，“参数类别”设置为“全部配置”。 MRS 3.x及之后版本，选择“集群 > 服务 > Yarn > 配置”，单击“全部配置”。 左边菜单栏中选择“Yarn
告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 12191 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
nodemanager.recovery.dir NodeManager用于保存container状态的本地目录。适用于MRS 3.x及后续版本集群。 ${SRV_HOME}/tmp/yarn-nm-recovery yarn.nodemanager.recovery.supervised Node
to backup xx due to insufficient disk space, move the data in the /srv/BigData/LocalBackup directory to other directories.”的信息。 是，执行9。 否，执行16。
示例：一行代码可以实现统计一个文件中所有单词出现的频次。 scala> sc.textFile("hdfs://hacluster/tmp/wordcount_data.txt").flatMap(line=> line.split(" ")).map(w => (w,1)).reduceByKey(_+_).collect()
setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
是，执行步骤 3。 否，执行步骤2：安装Python3。 登录集群的Manager界面。 单击“系统 > 权限 > 用户”，创建一个业务用户。 用户类型为人机用户，用户组选择“hadoop”，主组选择“hadoop”，角色选择“Manager_operator”。 例如创建的用户为“mrs-test”。
main] c.h.f.c.e.s.r.ClickHouseApplication : No active profile set, falling back to 1 default profile: "default" 2023-02-06 17:58:22.815
= ^? 10.1.1.1 0 10 0 - +0ns[ +0ns] +/- 0ns 是，执行8。 否，执行38。 chrony不能正常同步，通常与系统防火墙有关。如果能关闭防火墙，建议尝试关闭防火墙；
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
