检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
true, "message": "Deleted" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 增强型跨源连接相关API(废弃)
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 查看SQL执行计划 创建并管理SQL作业模板
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ
导出作业:导出该作业。 赋权:当前用户可将作业的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该作业的权限,但不能回收该作业所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该作业的权限。 为已有权限的用户赋予权限或回收权限。 在对应作业“用户权限信息”区域的用户列表中,选择
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
一个或者多个表。 用户可通过管理控制台或SQL语句创建数据库和表,其中SQL语句的操作方法请参见创建数据库、创建OBS表和创建DLI表等。本章节介绍在管理控制台创建数据库和表的操作步骤。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。 表的元数据
当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例
在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID 父主题: 公共参数
怎样监控DLI队列上的作业异常? DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: DLI弹性资源池和队列类
”。“用户权限信息”区域展示了当前具备此队列权限的用户列表。 常见权限设置的场景:为新用户赋予权限,为已有权限的用户修改权限,回收某用户具备的所有权限。 为新用户赋予权限 新用户指之前不具备此队列权限的用户。 单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。
当前待消费的数据总量。 如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态
设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数,其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark
Spark 2.4.x与Spark 3.3.x版本差异对比 Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI datasourceV1表和datasourceV2表 父主题: 版本支持公告
再设置作业优先级。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置
系统提示信息,执行成功时,信息可能为空。 connection_id 否 String 增强型跨源连接ID,用于标识跨源连接的UUID。 privileges 否 Array of Object 跨源连接各个授权项目的信息。具体参数请参考表3。 表3 privileges参数 参数名称 是否必选
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
效。 Spark作业操作步骤 在“Spark参数”中配置如下参数,其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业,单击操作列下的编辑。 在“Spark参数”中配置spark.dli
如果创建程序包时选择了分组,可选择修改“组”的所有者或者“程序包”的所有者。 如果创建程序包时没有选择分组,则不显示该参数。 用户名 程序包所有者的名称。 说明: 该用户名称是已存在的IAM用户名称。 单击“确定”修改完成。 父主题: 管理Jar作业程序包
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。