检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果队列名称已存在,单击“提交”时,系统会提示“Queue xxx already exists”错误,可返回“上一步”进行修改。 队列创建成功后,您可以在“队列管理”页面查看和选择使用对应的队列。 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 父主题: 创建弹性资源池和队列
SQL模板相关API 保存SQL模板 查看所有SQL模板 更新SQL模板 删除SQL模板
下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。
本章节包含如下内容: 管理作业标签 根据标签查找作业 管理作业标签 本节介绍如何为作业添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击“标签”页签,显示当前作业的标签信息。
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据 表生命周期管理
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。
详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本? DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载
air_backup_20230527'); 注意事项 命令只清理无效的parquet文件。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
单击“确定”,系统开始导入数据。 有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面,单击数据库名,在表管理界面对应表的“操作”栏选择“更多”中的“表属性”,在弹框的“预览”页签中,可查看导入的数据 在“SQL编辑器”的“数据库”页签
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
Flink作业咨询类 如何给子用户授权查看Flink作业? Flink作业怎样设置“异常自动重启”? Flink作业如何保存作业日志? Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。
绑定企业项目 在创建弹性资源池资源时,可以在“企业项目”绑定已创建的企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。
TABLE:恢复备份数据。 PARTITION:指定分区列。 TO VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
和DLI表。 存储在DLI的表,表类型为MANAGED。 可在“数据管理 > 库表管理”查看DLI表数据存储量。 约束限制 存储资源无需创建,无配额约束限制,可直接使用。 仅支持在账单中查看数据存储的计费信息。详细操作参考费用账单。 按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。
dli.job.agency.name",value为委托名,否则可能会影响作业运行。了解自定义DLI委托 Flink 1.15语法参考请查看Flink 1.15语法概览。 Flink Jar作业: 登录DLI管理控制台。 选择“作业管理 > Flink作业”,在作业列表中选择待操作的Flink
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?