检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下: 父主题: Loader转换类算子
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
转换算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: 算子帮助
config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件。 使用ca.crt证书生成客户端的truststore。 在安装了Java的环境下执行命令: keytool -noprompt -import -alias
- omm切换用户。 执行以下命令进入MonitorServer证书目录。 cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看用户证书的生效时间与失效时间,查看目前时间是否在有效期内。
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
目的企业项目管理页面。 表2 MRS集群网络信息 参数 参数说明 默认生效子网 子网信息,创建集群时所选。 当子网IP不足时,单击“切换子网”切换到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。
- omm切换用户。 执行以下命令进入Flume服务证书目录。 cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看HA用户证书的生效时间与失效时间,查看目前时间是否在有效期内。
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
ce部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题:
ce部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题:
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,集群管理员可在服务页面手动停用Ranger鉴权,停
fka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient 执行以下命令,配置环境变量。
变更计费模式 变更计费模式概述 按需转包年/包月
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
可视化运维,包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理,无需后台命令行操作,支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性:安全加固 用户认证支持Kerberos、通道SSL加密,兼容社区方式。
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据,可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁的进行加减字段,建议在业务前期规划建表时预留