检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
剪切字符串 概述 “剪切字符串”算子，截取已有字段的值，生成新的字段。 输入与输出 输入：需要截取的字段 输出：截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。
提升HDFS写数据性能 操作场景 在HDFS中，通过调整属性的值，使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HDFS
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长，文件浏览器报错Read timed out 父主题： 使用Hue（MRS
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后，JVM的默认配置将无法满足集群的业务需求，轻则集群变慢，重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置，提高集群性能。 操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本： 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
Flume向Spark Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业，提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误，通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars
配置sql-standard-with-group创建schema失败报Access Denied 用户问题 配置sql-standard-with-group创建schema失败，报Access Denied的错误。 问题现象 报错如下： CREATE SCHEMA hive.sf2
MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2” 问题现象 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功，但是使用MRS 1.9.0集群的Hive 2.3.2，通过Hive的J
访问Tez WebUI界面异常 问题 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常。 回答 Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。 父主题： Tez常见问题
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryp
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候，通过ZooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制，无需执行该章节操作。 对系统影响 操作过程中需要重启Ooz
导入导出Hive表/分区数据 操作场景 在大数据应用场景中，往往存在将Hive中的数据表迁移到另一个集群上，使用Hive的导入导出命令可以实现表级别数据迁移，即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中，再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性，根据指定的字段进行分区，支持单字段及多字段，解决数据仅需要分区的场景。示例如下： SELECT /*+ DISTRIBUTEBY('id')
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
FlinkSQL Function增强 本章节适用于MRS 3.5.0及以后版本。 DATE_ADD函数 DATE_ADD函数用于返回指定日期增加目标天数后的日期。 参数说明 指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。
Spark日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日
ClickHouse日志介绍 日志描述 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题： 使用Hue（MRS
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题： Hive企业级能力增强
Ranger权限策略配置示例 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Impala的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
