检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。
如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 父主题: DLI资源配额类
Doris Connector概述 Flink Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。
问题根因 已有表但是查询不到时,大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户,让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下: 使用创建表的用户账号登录到DLI管理控制台,选择“数据管理 > 库表管理”。
CLEANING 命令功能 对Hudi表进行cleaning操作,具体作用可以参考Hudi Clean操作说明章节。
后续指引 完成TPC-H样例模板开发并提交SQL作业操作后,如果您想了解更多关于SQL作业相关操作,建议您参考以下指引阅读。 分类 文档 说明 界面操作 SQL编辑器 提供执行SQL语句操作的界面指导,包含SQL编辑器界面基本功能介绍、快捷键以及使用技巧等说明。
CLUSTERING 命令功能 对Hudi表进行clustering操作,具体作用可以参考Hudi Clustering操作说明章节。
队列权限管理 管理员用户和队列的所有者拥有队列的所有操作权限,且根据业务需求对其他用户分配队列的操作权限,确保用户之间的作业互不影响,保障作业的执行性能。本节操作介绍队列权限管理的相关操作。
具体操作请参考方法一:通过Maven安装DLI SDK依赖。 在集成开发环境中导入JAR文件,适用于使用Eclipse作为集成开发环境的项目。具体操作请参考方法二:通过在Eclipse中导入JAR文件安装SDK。
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。
删除队列 根据实际使用情况,您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。
operator:此操作符包含等式操作符与不等式操作符,及IN,NOT IN操作符。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 此处的sub_query与聚合函数的位置不能左右互换。
开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历史数据并保留一定时间,后续您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。其他多版本SQL语法请参考多版本备份恢复数据。
可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。
具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
操作流程 使用DLI提交SQL作业查询RDS MySQL数据操作流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。
操作流程 使用DLI提交SQL作业查询OBS数据的基本流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询OBS数据的操作步骤 操作步骤 说明 步骤1:上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。
操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交Spark Jar作业的操作流程 操作步骤 说明 步骤1:上传数据至OBS 准备Spark Jar作业程序包并上传至OBS。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。
请求示例 上报IEF系统事件,事件类型deployment、事件操作类型updated。