检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
hive.manageFilesourcePartitions=false后,查不到数据(但是实际在Hive查询中是有数据的)。 原因分析 转换格式失败,spark-sql使用其内置的Metastore,而不是Hive中使用的Metastore,所以读取元数据时失败,spark-s
LoginException { // set iotdb_ssl_enable System.setProperty("iotdb_ssl_enable", IOTDB_SSL_ENABLE); if ("true".equals(IOTDB_SSL_ENABLE)) { // set truststore
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。 父主题: Loader转换类算子
字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下: 父主题: Loader转换类算子
// set iotdb_ssl_enable System.setProperty("iotdb_ssl_enable", IOTDB_SSL_ENABLE); if ("true".equals(IOTDB_SSL_ENABLE)) {
使用DBService 配置DBService HA模块的SSL 还原DBService HA模块的SSL配置 配置DBService备份任务超时时间 DBService日志介绍
login相关配置项。 如果配置了SSL,则必须配置ssl.truststore.location和ssl.truststore.password,前者表示truststore的位置,后者表示truststore密码。 否 说明: 该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore
设置handler的参数。 enableSSL false http协议是否启用SSL。 keystore - http启用SSL后设置keystore的路径。 keystorePassword - http启用SSL后设置keystore的密码。 常用Channel配置 Memory Channel
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: Loader转换类算子
转换算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: 算子帮助
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: Loader转换类算子
eper的SSL通信加密配置需保持一致。 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索“ssl.enabled”,值为“true”,表示启用SSL通信加密,值为“false”表示关闭SSL通信加密。 添加HBase数据源步骤
导入证书文件。 导入新的CA证书文件。 请参考更换MRS集群CA证书章节,申请或生成新的CA证书文件并导入。导入CA证书后该告警信息会自动清除,查看系统在定时检查时是否会再次产生此告警。 是,执行7。 否,处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章节,申请或生成新的
all/FusionInsight-Flink-*/flink/sbin,进入Flink脚本目录。 执行命令sh proceed_ha_ssl_cert.sh,重新生成HA证书,等待1分钟,观察此告警是否被清除。 是,执行8。 否,执行7。 在备FlinkServer实例所在节点