检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x及之后版本集群为例进行说明。 界面方式 登录MRS集群Manager，在主页界面，单击右上角的，在下拉框中单击“关于”，在弹框中查看Manager版本号。 图7 查看版本号 命令方式 以root用户登录Manager主OMS节点。 主OMS节点的IP地址信息可在Manager的“主机”页面中查看带有标志的主机信息。
分隔符 配置拼接符，可为空。 string 否 空字符串 被拼接字段名 配置需要被拼接字段名。 字段名：需填写上一个转换步骤生成的字段名，可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值，通过连接符拼接后，赋给“输出字段名”。 当有字段的值为nu
数据库名称。数据库名称由字母，数字和下划线组成。 table_name 数据库中的表的名称。表名由字母，数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a
Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 安全”。 将需要执行的命令参数添加到配置项“hive.security.authorization.sqlstd.confwhitelist.append”中。 单击保存并
数据连接管理，配置Kafka、HDFS等服务信息。 数据表管理，定义Sql访问的数据表信息，用于生成DDL语句。 FlinkSQL作业定义，根据用户输入的Sql，校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
数据连接管理，配置Kafka、HDFS等服务信息。 数据表管理，定义Sql访问的数据表信息，用于生成DDL语句。 FlinkSQL作业定义，根据用户输入的Sql，校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
> 告警 > 屏蔽设置”。 在“屏蔽设置”区域，选择指定的服务或模块。 在告警列表中选择指定的告警。 图1 屏蔽告警 界面显示此告警的信息，包含名称、ID、级别、屏蔽状态和操作： 屏蔽状态包含：“屏蔽”和“显示”。 操作包含：“屏蔽”和“查看帮助”。 在屏蔽列表上方可筛选指定的告警。
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
/opt/ojdbc6.jar /tmp 按照如下示例，在Hive客户端创建关联关系型数据库的外表。 -- 关联oracle linux6版本示例 -- 如果是安全模式，需设置admin权限 set role admin; -- 添加连接关系型数据库的驱动Jar包,不同数据库有不同的驱动Jar
Doris建表规范 该章节主要介绍创建Doris表时需遵循的规则和建议。 Doris建表规则 在创建Doris表指定分桶buckets时，每个桶的数据大小应保持在100MB~3GB之间，单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不
数据库名称。数据库名称由字母，数字和下划线组成。 table_name 数据库中的表的名称。表名由字母，数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a
启动失败，一直处于异常状态，无法正常提供服务。 登录故障RegionServer所在节点，jps查看RegionServer进程没有启动，在Manager上手动重启故障的RegionServer实例失败，查看对应RegionServer节点/var/log/Bigdata/hba
NameNode的主节点重启后，之前在ZooKeeper上建立的临时节点（/hadoop-ha/hacluster/ActiveStandbyElectorLock）就会被清理。同时，NameNode备节点发现该信息后进行抢占希望升主，所以它重新在ZooKeeper上建立了active的节点
ID是作业的唯一标识，作业新增后系统自动赋值。 用户名称 提交作业的用户名称。 作业类型 作业类型。 说明： 在MRS集群“文件管理”页面进行文件的导入导出操作后，您可以在“作业管理”页面查看Distcp类型的作业详情。 状态 显示作业的状态。 已提交：作业已提交。 已接受：作业提交成功后的初始状态。
等待2分钟，查看告警是否消失。 是，处理完毕。 否，执行12。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“HetuEngine”，单击“确定”。 在“主机”中勾选对应角色所在的主机，单击“确定”。 单击右上角的时间编
下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下面就以Spark为例讲一下shuffle在Spark中的实现。 Shuffle操作将一个Spark的Job分成多个S
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
file=/home/omm/temp.bin PID，导出内存信息后重启进程进行恢复。 查看Yarn的原生界面，确认队列资源情况，以及任务是否提交到了yarn上。 Yarn的原生界面：在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”。
d_bytes) * 100, 0) "压缩率" from system.parts; --查询test表容量。where条件根据实际情况添加修改 select sum(rows) as "总行数", formatReadableSize(sum(data_uncompressed_bytes))
等待2分钟，查看告警是否消失。 是，处理完毕。 否，执行12。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“HetuEngine”，单击“确定”。 在“主机”中勾选对应角色所在的主机，单击“确定”。 单击右上角的时间编
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
