检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
的分区字段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图8 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”。 y、ym、ymd字段的表达式分别配置如下: DateUtils.format(DateUtils.parseDate(row[2]
er)用于提供从0至N的优先值数字(0的优先级最高)。 多级队列(位于FairCallQueue内部)保持调用在内部按优先级排列。 多路转换器(提供有WeightedRoundRobinMultiplexer)为队列选择提供逻辑控制。 在对FairCallQueue进行配置后,由
er)用于提供从0至N的优先值数字(0的优先级最高)。 多级队列(位于FairCallQueue内部)保持调用在内部按优先级排列。 多路转换器(提供有WeightedRoundRobinMultiplexer)为队列选择提供逻辑控制。 在对FairCallQueue进行配置后,由
日期、时间函数及运算符 日期时间运算符 运算符 示例 结果 + date '2012-08-08' + interval '2' day 2012-08-10 + time '01:00' + interval '3' hour 04:00:00.000 + timestamp '2012-08-08
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
“按数量”:日志到达指定条数(默认10万条)时开始转储 “按时间”:指定某一日期开始转储,转储频率为一年一次。 按数量 按时间 转储日期 当选择“按时间”转储模式时可用。选择一个转储日期后,系统将在此日期开始转储。转储的日志范围为当前年份1月1日0时之前的所有审计日志。 11-06(举例)
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
Spark输入:SparkSQL表输入步骤,配置SparkSQL表的列定义到指定字段。仅支持存取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量
HiveServer进程停止日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志 /metastore/metastore
Loader开源增强特性 Loader开源增强特性:数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
Spark输入:SparkSQL表输入步骤,配置SparkSQL表的列定义到指定字段。仅支持SparkSQL存取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量
ixedString(32)) 时间日期类型 Date 日期 用两个字节存储,表示从 1970-01-01(无符号)到当前的日期值。日期中没有存储时区信息。 DateTime 时间戳 用四个字节(无符号的)存储 Unix 时间戳。允许存储与日期类型相同的范围内的值。最小值为 1970-01-01
VARCHAR->CHAR:如果VARCHAR长度超过目标长度,则会截断。 VARCHAR->DATE:仅支持按照“-”分割的日期,例如2000-01-01。 VARCHAR->TIME:仅支持严格的日期格式:HH:MM:SS.XXX。 VARCHAR->TIME ZONE:仅支持严格的格式,例如01:02:03
进行以下操作。 查看文件和目录 默认显示登录用户的目录及目录中的文件,可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。 单击文件名,可查看文本文件的文本信息或二进制数据。支持编辑文件内容。 如果文件和目录数量比较多,可以在搜索框输入关键字,搜索特定的文件或目录。
Unmasked(retain original value):原样显示。 Date: show only year:仅显示日期字符串的年份部分,并将月份和日期默认为01/01。 Custom:可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略,可单击按钮添加。
描述:返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述:同strpos() 函数。 日期函数 本节中的函数使用与Teradata datetime函数兼容的格式字符串。下表基于Teradata参考手册,描述了受支持的格式说明符。