检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive输入信息: 列名:配置Hive列名。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配置Hive表名不存在时,作业提交失败。
配置SparkSQL输入信息: 列名:配置SparkSQL列名。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配
的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义: 表1 Loader常用宏定义 名称 替换后效果 说明
访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 通过弹性公网IP访问MRS集群Manager 登录MRS管理控制台页面。
“递归”表示递归设置权限到子目录。 存储策略:表示设置目录或文件在HDFS中的存储策略。 摘要:表示查看选中的文件或目录的HDFS存储信息。 存储策略定义使用介绍 如果Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。
列族:配置HBase列族名。 列名:配置HBase列名。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 主键:配置是否为主键列。普通HBa
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值太长则按配置的长度截取,类型为“CHAR”时实际长度不足则空格补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将每行数据按
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
function语句重新创建所有自定义函数。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 首先
格式如:“yyyyMMdd HH:mm:ss”。 十进制格式:配置小数的刻度和精度。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 分区键:配置是否为分区列。可以不指
log 服务启动前初始化集群的日志。 startDetail.log 启动服务的日志。 stopDetail.log 停止服务的日志。 cleanupDetail.log 服务执行cleanup的日志。 check-serviceDetail.log 服务安装完成之后验证服务状态的。
StageCompleted, TaskResubmit, TaskStart,TaskEnd, TaskGettingResult, JobStart,JobEnd)按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。
处理步骤 登录FusionInsight Manager首页,选择“集群 > 服务 > JobGateway > 实例”。进入实例页面查看JobServer或JobBalancer全部实例是否故障或未启动,并查看故障或未启动实例所在节点的主机名。 在FusionInsight Man
StageCompleted, TaskResubmit, TaskStart,TaskEnd, TaskGettingResult, JobStart,JobEnd)按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。
2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: number of splits:2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: Submitting tokens for job:
同时在NameNode中生成一个文件对象,对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存,消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多,NameNode文件对象总量增加,需要消耗更多的内存,使集群
“Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策
Standby NameNode:与Active NameNode中的数据保持同步;随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每