检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouseServer实例所在节点IP --user clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名：默认为hadoop.com。具体可登录集群FusionInsight Manager，单击“系统
原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 HBase输入 原始数据包含NULL值，不做转换处理。 配置HBase表名错误，全部数据成为脏数据。
配置多主实例与多租户模式切换 配置场景 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数： spark.thriftserver.proxy.enabled=false spark.scheduler
通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“随机值转换”算子，生成C、D、E三个字段： 转换后，按顺序输入这五个字段： 可以发现，每次生成的随机值都不一样。 父主题： Loader转换类算子
EL操作转换 概述 “EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
露。 确定集群是否支持调整会话时长。 MRS 3.x之前版本集群：在集群详情页面，选择“组件管理 > meta > 服务配置”，切换“基础配置”为“全部配置”，搜索配置项“http.server.session.timeout.secs”，如果有该配置项请参考如下步骤修改，如果没
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 对于MRS 3.x之后版本，登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 参数说明 表1 Hive参数说明 参数 参数说明 默认值 hive
配置多主实例与多租户模式切换 配置场景 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数： spark.thriftserver.proxy.enabled=false spark.scheduler
字段原值为null时，替换成指定的值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图： 转换后，将A和B的值输出后的结果如下： 父主题： Loader转换类算子
转换算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题： 算子帮助
字符串大小写转换 概述 “字符串大小写转换”算子，用于配置已生成的字段通过大小写变换，转换出新的字段。 输入与输出 输入：需要转换大小写的字段 输出：转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息：
和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/F
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Por
Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成I
值。 系统域名：可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 HBase认证模式： 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，搜索“hbase
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令，同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令，同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/F
配置 > 全部配置”，搜索“allow.everyone.if.no.acl.found”配置，修改参数值为true，保存配置即可。 系统域名：可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 使用Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
