-
取模转换 - MapReduce服务 MRS
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
-
日期、时间函数及运算符 - MapReduce服务 MRS
date 将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
-
使用CDM服务迁移MySQL数据至MRS Hive - MapReduce服务 MRS
段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图7 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”。 y、ym、ymd字段的表达式分别配置如下: DateUtils.format(DateUtils.parseDate(row[2]
-
长整型时间转换 - MapReduce服务 MRS
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
-
长整型时间转换 - MapReduce服务 MRS
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
-
配置审计日志转储 - MapReduce服务 MRS
/opt/omm/oms/auditLog(举例) SFTP用户名 指定登录SFTP服务器的用户名。 root(举例) SFTP密码 指定登录SFTP服务器的密码。 SFTP服务器的密码 SFTP公共秘钥 可选参数,指定SFTP服务器的公共密钥,建议配置SFTP的公共密钥,否则可能存在安全风险。 - 转储模式
-
配置审计日志导出参数 - MapReduce服务 MRS
MRS的审计日志长期保留在系统中,可能引起数据目录的磁盘空间不足问题,故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下,便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分,服务审计日志和管理审计日志。 服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/
-
使用CDM服务迁移MRS HDFS数据至OBS - MapReduce服务 MRS
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作
-
优化HDFS NameNode RPC的服务质量 - MapReduce服务 MRS
该队列由以下三部分组成: 调度模块(DecayRpcScheduler)用于提供从0至N的优先值数字(0的优先级最高)。 多级队列(位于FairCallQueue内部)保持调用在内部按优先级排列。 多路转换器(提供有WeightedRoundRobinMultiplexer)为队列选择提供逻辑控制。
-
优化HDFS NameNode RPC的服务质量 - MapReduce服务 MRS
该队列由以下三部分组成: 调度模块(DecayRpcScheduler)用于提供从0至N的优先值数字(0的优先级最高)。 多级队列(位于FairCallQueue内部)保持调用在内部按优先级排列。 多路转换器(提供有WeightedRoundRobinMultiplexer)为队列选择提供逻辑控制。
-
转换函数 - MapReduce服务 MRS
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
-
取模转换 - MapReduce服务 MRS
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
-
配置MRS集群静态资源 - MapReduce服务 MRS
根据业务需要修改以下参数,并单击“确定”保存: “重复”:勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “在”:表示资源配置组应用的开始与结束时间。请设置一个
-
使用Loader导出MRS集群内数据 - MapReduce服务 MRS
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
-
Hive日志介绍 - MapReduce服务 MRS
HiveServer进程停止日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志 /metastore/metastore
-
Loader开源增强特性 - MapReduce服务 MRS
性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器
-
使用Loader导入数据至MRS集群 - MapReduce服务 MRS
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
-
ClickHouse概述 - MapReduce服务 MRS
ixedString(32)) 时间日期类型 Date 日期 用两个字节存储,表示从 1970-01-01(无符号)到当前的日期值。日期中没有存储时区信息。 DateTime 时间戳 用四个字节(无符号的)存储 Unix 时间戳。允许存储与日期类型相同的范围内的值。最小值为 1970-01-01
-
HetuEngine隐式转换对照表 - MapReduce服务 MRS
HetuEngine隐式转换对照表 在开启隐式转换功能后,当数据类型不匹配时会隐式转换,但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表: 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
-
HDFS on Hue - MapReduce服务 MRS
WebUI,请参考访问Hue WebUI界面。 然后单击,进入“文件浏览器”页面。您可以进行以下操作。 查看文件和目录 默认显示登录用户的目录及目录中的文件,可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。 单击文件名,可查看文本文件的文本信息或二进制数据。支持编辑文件内容。