检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。
操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统:Windows 或 Linux DBT是一个基于Python的工具,请确保已安装了Python。
Flink作业常用操作 用户创建了新作业后,需要根据用户的实际需求对作业进行操作,包括编辑作业基本信息,启停作业、导入/导出作业等。 编辑作业 用户可以对已经创建的作业进行编辑,如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>
Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。 表1 作业管理参数 参数 参数说明 作业ID 所提交Spark作业的ID,由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。
Hudi Clustering操作说明 什么是Clustering 即数据布局,该服务可重新组织数据以提高查询性能,也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作,如insert/upsert/bulk_insert来将数据写入Hudi
IEF系统事件上报(废弃) 功能介绍 该API用于处理IEF系统事件上报。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。
表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误 问题现象 在CDM迁移数据到DLI,迁移作业提交后,在CDM作业迁移日志中查看作业执行失败,具体日志有如下报错信息: org.apache.sqoop.common.SqoopException
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except
部分操作系统Visual Studio安装后需重启才可以生效。 父主题: Python SDK环境配置
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后,如何保证不丢失数据? Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OBS
表1 Spark Jar作业开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如:“D:\tmp\dli-sdk-python-1.0.8”。
或者勾选系统角色“DLI Service Administrator”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。 父主题: Flink作业咨询类
解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查: 请先确认下当前用户名是否存在。 如该用户存在,请重新登录管理控制台,系统才能对该用户进行授权操作。 父主题: Flink作业咨询类
表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID,由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。
[ERROR] Error message:Execution Timeout 问题原因 default队列是系统预置的默认公共队列,主要用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。