检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WHERE region.regionkey = nation.regionkey) IN 确定子查询生成的任意值是否等于给定的表达式。 IN的结果遵循null的标准规则。 子查询必须只生成一列: SELECT name FROM nation WHERE regionkey IN (SELECT
为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下:
为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下:
“剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
“剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
INACTIVE:索引异常,索引数据与数据表不一致,跳过生成该索引的索引数据,查询数据时无法使用该索引。 BUILDING:索引数据正常批量生成,索引数据生成工具执行结束会自动转换到ACTIVE状态,此状态下可以正常读写。 DROPPING:索引正在被删除,跳过生成该索引的索引数据,查询数据时无法使用该索引。
服务票据(Server Ticket),由Kerberos服务生成,提供给应用程序与应用服务建立安全会话,该票据一次性有效。 ST的生成在MRS中,基于hadoop-rpc通信,由rpc底层自动向Kerberos服务端提交请求,由Kerberos服务端生成。 Kerberos认证代码示例 package
作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Cli
作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Cli
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
是否用小写字母表示输出结果)。例如,md5sum(fieldname,true)。 md5sum:生成md5校验值。 sha1sum:生成sha1校验值。 sha256sum:生成sha256校验值。 sha512sum:生成sha512校验值。 类型:表达式输出结果类型,建议选择“VARCHAR”。
是否用小写字母表示输出结果)。例如,md5sum(fieldname,true)。 md5sum:生成md5校验值。 sha1sum:生成sha1校验值。 sha256sum:生成sha256校验值。 sha512sum:生成sha512校验值。 类型:表达式输出结果类型,建议选择“VARCHAR”。
ClickHouse输出 概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段。 输出:ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。
是否开启使用Guardian。 true fs.obs.delegation.token.providers delegation token生成器,当fs.obs.guardian.enabled=true时,需要同时配置com.huawei.mrs.dt.MRSDelegationTokenProvider和com
证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2 OBS证书失效告警 原因分析 OBS系统生成的证书有有效期限制,到达有效期后,证书文件失效,因此产生告警。 处理步骤 查询MRS集群上的OBS证书信息。 使用root用户登录MRS集
ClickHouse安装部署依赖ZooKeeper服务。 ClickHouse通过Flink流计算应用加工生成通用的报表数据(明细宽表),准实时写入到ClickHouse,通过Hive/Spark作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。 ClickHouse暂不支持
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
log,导致耗时启动较长,甚至启动失败。 原因分析 备NameNode会周期性做合并editlog,生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后,会将fsimage传递到主NameNode。 由于“备NameNode会周期性做合