检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该拦截器会依据Header中包含的符合正则匹配的字符串,丢弃掉对应的Event。 UUID Interceptor 该拦截器会为每个Event的Header生成一个UUID字符串。 Search and Replace Interceptor 该拦截器基于Java正则表达式提供简单的基于字符串的搜索和替换功能。与Java
不允许用字符类型存放数值类型的数据,尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的Nullable列,可以考虑字符串使用“NA”,数值型用0作为缺省值。过多使用Nullable将消耗更多内存。 建议规
Flink对接云搜索服务(CSS)样例程序(Java) 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.flink.examples。 public class
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 随机值转换 不涉及处理NULL值、空字符串,不生成脏数据。 增加常量字段 不涉及处理NULL值、空字符串,不生成脏数据。 拼接转换 原始数据包含NULL值,将转换为空字符串。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
字符串大小写转换:字符串转换步骤,配置已生成的字段通过大小写变换,转换出新的字段。 字符串逆序转换:字符串逆序步骤,配置已生成的字段通过逆序,转换出新的字段。 字符串空格清除转换:字符串空格清除步骤,配置已生成的字段通过清除空格,转换出新的字段。 过滤行转换:过滤行步骤,配置逻辑条件过滤掉含触发条件的行。
0及之后版本:正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填入ClickHouse表所在的逻辑集群和数据库,需要与当前存在的逻辑集群和数据库完全匹配,例如“/default_cluster/database”。 在第二个框输入正则表达式,支持标准正则表达式。例如
字符串大小写转换:字符串转换步骤,配置已生成的字段通过大小写变换,转换出新的字段。 字符串逆序转换:字符串逆序步骤,配置已生成的字段通过逆序,转换出新的字段。 字符串空格清除转换:字符串空格清除步骤,配置已生成的字段通过清除空格,转换出新的字段。 过滤行转换:过滤行步骤,配置逻辑条件过滤掉含触发条件的行。
件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。无扩展名的文件直接增加字符串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。
”框内。 单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写目录的父目录完整路径,需要与当前存在的目录完全匹配。例如“/root”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*
而给文件的数据块存储指定了特定范围的DataNode。 当使用基于标签的数据块摆放策略,为指定的文件选择DataNode节点进行存放时,会根据文件的标签表达式选择出DataNode节点范围,然后在这些DataNode节点范围内,选择出合适的存放节点。 本章节适用于MRS 3.x及后续版本。
而给文件的数据块存储指定了特定范围的DataNode。 当使用基于标签的数据块摆放策略,为指定的文件选择DataNode节点进行存放时,会根据文件的标签表达式选择出DataNode节点范围,然后在这些DataNode节点范围内,选择出合适的存放节点。 本章节适用于MRS 3.x及后续版本。
clickhouse_jdbc_test JDBC连接字符串 集群已启用Kerberos认证,JDBC连接字符串格式为“jdbc:clickhouse://访问数据库IP:数据库端口号/数据库名称?ssl=true&sslmode=none” 集群未启用Kerberos认证,JDBC连接字符串格式为“jdbc:c
数据库中的所有表,勾选指定的表。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填入Doris表所在的数据库,需要与当前存在的数据库完全匹配,例如“/example_db”。 在第二个框输入正则表达式,支持标准正则表达式。例如要筛选数据库中包含test关键字的所有的表,输入“
件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。无扩展名的文件直接增加字符串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。
件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。无扩展名的文件直接增加字符串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。
将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后,由HBase输出到对应的HBase表中,数据存放于test表中,如下图: 创建HBase表:
将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后,由HBase输出到对应的HBase表中,数据存放于test表中,如下图: 创建HBase表:
件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。无扩展名的文件直接增加字符串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。
字符串大小写转换:字符串转换步骤,配置已生成的字段通过大小写变换,转换出新的字段。 字符串逆序转换:字符串逆序步骤,配置已生成的字段通过逆序,转换出新的字段。 字符串空格清除转换:字符串空格清除步骤,配置已生成的字段通过清除空格,转换出新的字段。 过滤行转换:过滤行步骤,配置逻辑条件过滤掉含触发条件的行。
首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。