检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkUI:单击后,将跳转至Flink任务运行情况界面。 说明: 如果是新建队列,在该队列提交作业后,如果立即单击FlinkUI,因为后台大约需要10分钟创建集群,会导致缓存空的projectID,从而导致无法查看FlinkUI。 建议作业选择使用专属队列,后台集群不会被释放,避免上述问题产生。或者等待作业运行
参数名称 是否必选 参数说明 table_name 是 待禁止或恢复生命周期的表的名称。 pt_spec 否 待禁止或恢复生命周期的表的分区信息。格式为partition_col1=col1_value1, partition_col2=col2_value1...。对于有多级分区的表,必须指明全部的分区值。
logRetentionDuration Delta log文件过期时间。每当Delta log进行checkpoint动作时,会检查是否有需要删除的过期文件,如果有,则删除这些过期文件以防Delta log文件无限增长。 30天
Flink作业运行异常,如何定位 在“Flink作业”管理页面,对应作业“操作”列单击“编辑”按钮,在作业运行界面确认作业是否勾选“保存作业日志”参数。 图1 保存作业日志 是,则执行3。 否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作
该API用于检查已创建的上传作业是否合法,并授权合法作业上传数据至DLI。 当前接口已废弃,不推荐使用。 URI URI格式: POST /v1.0/{project_id}/uploader/authentication 参数说明 表1 URI 参数 名称 是否必选 说明 project_id
URI格式: GET /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id
查看数据库权限 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”,将显示该数据库对应的权限信息。 权限设置有3种场景:为新用户或项目赋予权限、为已有权限的用户或项目修改权限、回收某用户或项目具备的所有权限。 为新用户或项目赋予权限 为新用户或新项目
ne上与清理的数据文件对应的Instant才允许归档。 不管是否进行compaction操作,至少会保留hoodie.compact.inline.max.delta.commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。
提交作业终止时间,单位:秒。 dli-jdbc-1.x dli-jdbc-2.x directfetchthreshold 否 1000 请您根据业务情况判断返回结果数是否超过设置的阈值。 默认阈值1000。 dli-jdbc-1.x 创建Statement对象,设置相关参数并提交Spark SQL到DLI服务。
is_cover 否 Boolean 如果导入的作业与服务已有的作业同名,是否覆盖服务中已有的作业。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String
urce/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id 是 String 模板ID。 请求参数 表2 请求参数 参数 是否必选 参数类型 说明 name 是 String
或某条数据插入到新创建的OBS表中。 表2 OPTIONS参数描述 参数 是否必选 描述 path 否 指定的表路径,即OBS存储路径。 multiLevelDirEnable 否 嵌套子目录场景下,是否迭代查询子目录中的数据。当配置为true时,查询该表时会迭代读取该表路径中所有文件,包含子目录中的文件。
典型场景示例:配置DLI 与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址,配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导,介绍如何通过设置SNAT规则和配置路由信息,实现DLI服务与公网的网络连接。
参数说明 表1 URI参数 参数名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String
/export 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 obs_dir 是 String OBS路径,用于保存导出的作业文件。
/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String
urce/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。
'he'||'llo'; --hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外,这些函数对Unic
用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable 否 是否迭代查询子目录中的数据。当配置为true时,查询该表时会迭代读取该表路径中所有文件,包含子目录中的文件。