检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意事项 归档文件,没有备份,删除之后无法恢复。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
DK代码示例调试功能。 URI GET /v3/{project_id}/{resource_type}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 resource_type
请注意date_sub函数与date_add函数逻辑反。 命令格式 date_sub(string startdate, int days) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 start_date 是 DATE 或 STRING 代表起始日期。 支持以下格式: yyyy-mm-dd yyyy-mm-dd
命令格式 next_day(string start_date, string day_of_week) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 start_date 是 DATE 或 STRING 代表需要处理的日期。 start_date取值为STRING类
regexp_extract(string <source>, string <pattern>[, bigint <groupid>]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 source 是 STRING 待拆分的字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。
]string <str>) 或 rtrim(trailing [<trimChars>] from <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 待去除右端字符的字符串。如果输入为BIGINT、DECIMAL、DOUBLE或DATETI
写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表,直接执行清空表操作,取值范围: true false 默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。
<start_position>[, bigint <occurrence>[, bigint <return_option>]]]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 source 是 STRING 源字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹
cleanbackup/hoodie_repair_backup_20230527'); 注意事项 命令只清理无效的parquet文件。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
按需计费三种。 DLI目前支持三种作业:SQL作业,Flink作业和Spark作业。 SQL作业的计费包括存储计费和计算计费,其中计算计费有包年包月计费和按需计费两种。 包年包月计费根据购买周期进行扣费,推荐使用包年包月模式,价格优惠且在周期内独享计算资源。 按需计费以小时为单位
PG_TERMINATE_BACKEND(pid) from pg_stat_activity WHERE state='idle'; 检查应用程序是否未主动释放连接,导致连接残留。建议优化代码,合理释放连接。 在GaussDB(DWS) 控制台设置会话闲置超时时长session_time
'', 'update-mode' = '', 'format.type' = 'json' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector的类型,对于elasticsearch需配置为elasticsearch connector
存储空间 如果存储类型为SSD云盘或极速型SSD,可设置存储空间自动扩容,当存储空间可用率过小时,会自动扩容存储空间。 40GB 磁盘加密 选择是否开启磁盘加密功能。 不加密 虚拟私有云 选择已有的虚拟私有云。 如需重新创建VPC和子网,请参考创建虚拟私有云和子网。 说明: 跨源场景数据源网段和弹性资源池的网段不能重合。
days"='N') 关键字 TBLPROPERTIES:表的属性增加表的生命周期功能。 参数说明 表1 修改表的生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 需要修改生命周期的表名。 dli.lifecycle.days 是 修改后的生命周期时间,只能为正整数,单位为天。
bigint <start_position>[, bigint <nth_appearance>]]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待搜索的目标字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETI
命令格式 dateadd(string date, bigint delta, string datepart) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表起始日期。 支持以下格式: yyyy-mm-dd yyyy-mm-dd
int>>,新列名称需要指定为arraylike.element.col2。 col_type:新增列类型,必须指定。 nullable:新增列是否可以为空,可以缺省。 comment:新增列comment,可以缺省。 col_position:列添加位置包括FIRST、AFTER o
测试地址连通性”。 在“测试连通性”界面,根据5中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试到RDS网络是否可达。 步骤四:运行作业 本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。 在DLI管理控制台,单击“作业管理 > Fli
percent_rank() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数 是否必选 说明 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。
指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可