检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
PartialResult { public Long sum; } public static class VarianceEvaluator implements UDAFEvaluator { //初始化PartialResult对象
OBS表具体权限说明请参考表2。 图4 OBS表用户授权 图5 OBS表项目授权 表2 参数配置 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。
在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。 再次启动Flink作业,即从对应的检查点路径恢复作业。 父主题: Flink作业咨询类
确认实例信息无误且阅读并同意《华为云用户协议》后,单击“提交”,完成实例创建,创建实例大约需要10~15分钟请耐心等待。 创建Kafka的topic。 单击购买的Kafka实例名称,进入到Kafka实例的基本信息页面。
它支持多种类型的组件监控,提供预置监控大盘和全面托管的Prometheus服务,通过Prometheus监控来统一采集、存储和显示监控对象的数据,适用于时间序列数据库的收集和处理,尤其适用于监控Flink作业场景。
URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。
示例代码如下: 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient client) throws DLIException { //通过调用DLIClient对象的createQueue方法创建队列
准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。
result_path String 作业结果的OBS路径。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 value 是 String 标签的值。
且如果赋权对象在resource或上一级resource上已经有对应权限时,则会赋权失败。Privilege支持的权限类型可参见数据权限列表。
表4 payload参数说明 参数名称 是否必选 参数类型 说明 jobs 否 Array of Objects 所有作业监控信息。具体请参考表5。 表5 jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 否 Long 作业ID。
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
发布区域:全部 OBS 2.0支持 DLI元数据 DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 · 数据目录:数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。
分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。
URI URI格式: DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
zip_file 否 Array of Strings 导出的作业zip包文件名,保存在OBS上。 请求示例 导出ID为100的作业至OBS。
sub_jobs 否 Array of Object 正在运行作业的子作业的详细信息,一个作业可能包含多个子作业。具体请参考表3。
obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。