检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待搜索的目标字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其他类型会返回报错。 str2 是 STRING 待匹配的子串。
job_type 是 String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT schema 否 Array of Map 当语句类型为DDL时,返回其结果的列名称及类型。 rows 否 Array of objects 当语句类型为DDL时,直接返回其执行结果。
DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 待搜索的目标字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其他类型会返回报错。 substr 是 STRING 待匹配的子串。
DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
escape-string-value 否 false Boolean 是否对string类型值进行转义。该参数仅用于write.mode为copy模式下。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置置账号和密码。 key-by-before-sink
'', 'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'gaussdb'。 url 是 无 String jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。
select * from tableName where column1= value1 不支持查询下压的场景 数据类型场景 除上述支持的数据类型外,其余复杂数据类型不支持查询下压。 过滤条件场景 length,count,max,min,join,groupby,orderby,limit和avg等
表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 表2 query参数 参数名称 是否必选 参数类型 说明 page-size 否 Long
返回值的类型不同 说明: Spark SQL中的histogram_numeric函数返回一个结构体数组(x,y),不同版本的引擎x的类型不同。 Spark2.4.x:Spark 3.2或更早版本中,x为double类型。 Spark3.3.x:x类型等于函数输入值的类型。 升级引擎版本后是否对作业有影响:
[string <split1>,string <split2>,] string <key>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 待拆分的字符串。 split1、split2 否 STRING 用于作为分隔符的字符串,按照指定的两个分
rce函数,以实现特定的数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别 类别 操作指导 源表 DWS源表(不推荐使用) 结果表 DWS结果表(不推荐使用) 维表 DWS维表(不推荐使用) 父主题: DWS
数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。 存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。 创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。
watermark ;表达式的返回类型必须是 TIMESTAMP(3),表示了从 Epoch 以来的经过的时间。 返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出(以保证 watermark 递增)。每条记录的 watermark 生成表达式计算都会由框架完成。
job_type 是 String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT schema 否 Array of Map 当语句类型为DDL时,返回其结果的列名称及类型。 rows 否 Array of objects 当语句类型为DDL,且dli.sql
是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型,包含
Hudi表提供了数据更新和幂等写入能力,该能力要求Hudi表必须设置主键,主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键,两种主键类型均要求主键不能有null值和空值,可以参考以下示例设置主键: SparkSQL: // 通过primaryKey指定主键,如果是复合主键需要用逗号分隔
是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型,包含
当前记录表在数据库中更新的时间。 如果从表的快照而不是 binlog 读取记录,该值将始终为0。 数据类型映射 表4 数据类型映射 MySQL类型 Flink SQL类型 备注 TINYINT TINYINT - SMALLINT TINYINT UNSIGNED TINYINT UNSIGNED ZEROFILL