检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客户端安装目录
操作步骤 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBase数据读写性能调优。
使用Hue提交Oozie Loader作业 操作场景 该任务指导用户通过Hue界面提交Loader类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。 在弹出的“Loader”窗口中配置“Job
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell，需要单向免密互信时，可以参考此示例。 前提条件 已经安装Oozie，而且能与外部节点（SSH连接的节点）通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在，且该用户“~/.
使用Hue提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下，用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。 操作步骤
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数
拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空
更新域 概述 “更新域”算子，当满足某些条件时，更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时，运算符为“+”时，表示在字符串后追加串
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、
表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字符串作为换行符
HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点
登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。
操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase > 配置”，单击“全部配置”。在搜索框中输入参数名称，并进行修改。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了
通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 问题背景与现象 通过客户端提交任务，客户端返回内存溢出的报错结果： 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。
授权后，用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群” 列表，单击对应集群名称，进入集群信息页面。检查安全组中是否正确配置了本地IP。
保存配置并在概览页面选择“更多 > 重启服务”，重启Yarn服务。 界面提示“操作成功。”，单击“完成”，Yarn服务启动成功。 登录另外一个集群，重复以上操作。 父主题： HBase运维管理
配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
