检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位,1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs,取两者中的最大值作为Executor 或driver所需的CU数。 图2 查看Spark作业所需CUs数
输入模板名称、语句和描述信息,详细参数介绍请参见表1。 图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。
参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会自动转换为STRING类型后参与运算。 例如“ABC” 返回值说明 返回BIGINT的值。 str非STRING、BIGINT、DOUBLE、DE
参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会自动转换为STRING类型后参与运算。 例如“ABC” 返回值说明 返回BIGINT的值。 str非STRING、BIGINT、DOUBLE、DE
STRING 至少要指定2个字符串。 STRING类型。如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算。 charset 是 STRING 编码格式。 取值范围为:UTF-8、UTF-16、UTF-16LE、UT
参数a的格式包括浮点数格式、整数格式、字符串格式。 d 否 INT类型。 默认值:0。 代表需要四舍五入到的位数。 参数d非INT类型时,会隐式转换为INT类型后参与运算。 返回值说明 返回DOUBLE类型的值。 d为负数时,返回报错。 a或d值为NULL时,返回NULL。 示例代码 返回123
tableName.compositeType.* - 选择所有字段,将Apache Flink复合类型(如Tuple,POJO等)和其所有直接子类型转换为简单表示,其中每个子类型都是单独的字段。 父主题: 内置函数
STRING 至少要指定2个字符串。 STRING类型。如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算。 charset 是 STRING 编码格式。 取值范围为:UTF-8、UTF-16、UTF-16LE、UT
tableName.compositeType.* - 选择所有字段,将Apache Flink复合类型(如Tuple,POJO等)和其所有直接子类型转换为简单表示,其中每个子类型都是单独的字段。 父主题: 内置函数
Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal 默认使用
典型场景示例:迁移DWS数据至DLI 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
参数a的格式包括浮点数格式、整数格式、字符串格式。 d 否 INT类型。 默认值:0。 代表需要四舍五入到的位数。 参数d非INT类型时,会隐式转换为INT类型后参与运算。 返回值说明 返回DOUBLE类型的值。 d为负数时,返回报错。 a或d值为NULL时,返回NULL。 示例代码 返回123
conv(STRING num, INT from_base, INT to_base) STRING 进制转换,将from_base进制下的num转化为to_base进制下面的数。例如:将5从十进制转换为四进制,conv(5,10,4)=11。 cos cos(DOUBLE a) DOUBLE
通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。本章节介绍创建弹性资源池并添加队列的操作步骤。 弹性资源池约束与限制 不支持切换弹性资源池的计费模式。 弹性资源池不支持切换区域。 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。
DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd' TO_TIMESTAMP(string1[, string2]) TIMESTAMP 将string2格式的日期时间字符串转换为TIMESTAMP类型 string2默认格式为'yyyy-MM-dd
DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd' TO_TIMESTAMP(string1[, string2]) TIMESTAMP 将string2格式的日期时间字符串转换为TIMESTAMP类型 string2默认格式为'yyyy-MM-dd
DATE 将string2格式的日期字符串,转换为DATE类型 string2默认格式为 'yyyy-MM-dd' TO_TIMESTAMP(string1[, string2]) TIMESTAMP 将string2格式的日期时间字符串转换为TIMESTAMP类型 string2默认格式为'yyyy-MM-dd
是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。 请求消息 无请求参数。 响应消息 参数说明 表2 响应参数说明 参数名称
理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
conv(STRING num, INT from_base, INT to_base) STRING 进制转换,将from_base进制下的num转化为to_base进制下面的数。例如:将5从十进制转换为四进制,conv(5,10,4)=11。 cos cos(DOUBLE a) DOUBLE