检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
path。 说明: 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。注意,OBS必须是并行文件系统,不能是OBS桶。 示例:obs://bucketName/fileName,表示数据输出到obs的bucketName桶下的fileName目录中。
删除表。 语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名
contact DLI service. DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许
t保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink Checkpoint和Savepoint生成机制及格式一致,因此可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。
)/(CU数量 - 管理单元)”。 OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。
该API用于在作业提交后查询作业状态。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/status 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
作业列表信息。具体请参考表4。 表4 payload参数说明 参数名称 是否必选 参数类型 说明 jobs 否 Array of Objects 所有作业监控信息。具体请参考表5。 表5 jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 否 Long 作业ID。 metrics
消。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String
保存作业日志”参数。 图1 保存作业日志 是,则执行3。 否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flin
zip_file 否 Array of Strings 导出的作业zip包文件名,保存在OBS上。 请求示例 导出ID为100的作业至OBS。 { "obs_dir": "obs-test", "is_selected": true, "job_selected":
按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 计费规则
使用须知 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业
当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是
您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,
file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud
快照时间间隔。单位为秒,默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。 log_enabled
快照时间间隔。单位为秒,默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled