检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenSource SQL作业，访问其他外部数据源时，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通（增强型跨源连接）。 创建完跨源连接后，可以通过“资源管理
k 2.4.x升级至Spark 3.3.1对数据表的版本有影响吗？ 不需要，Spark 2.4.x的SQL队列支持V1表和V2表，因此升级Spark版本只需要考虑Spark版本对SQL语法的兼容性。 示例2：使用通用队列，将Spark版本从Spark 2.4.x升级至Spark 3
使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。 DLI Livy工具下载及安装 本次操作下载的DLI Livy版本为apache-livy-0.7.2.0107-bin.tar.gz，后续版本变化请根据实际情况修改。 单击下载链接，获取DLI
步骤5：创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6：创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7：使用DEW管理访问凭据，并配置允许DLI访问DEW的委托
CES”，进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”，进入到云服务监控页面。 在云服务监控页面，“名称”列对应队列名称，单击对应队列名称，进入到队列监控页面。 在队列监控页面，分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”：展示当前队列中状态为“提交中”的作业数量。
（可选）步骤三：创建增强型跨源连接 本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。
并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板 > SQL模板”。 在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方，“执行引擎”选择“sp
Studio实例后，单击“进入控制台”。 图2 进入DataArts Studio实例控制台 单击“空间管理”，进入数据开发页面。 购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。
10以上版本，certifi，python-dateutil。 关于Python SDK的获取与安装请参考SDK获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，具体操作请参考初始化DLI客户端
及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，具体操作请参考初始化DLI客户端
使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下： 使用创建表的用户账号登录到DLI管理控制台，选择“数据管理
如果您正在使用DLI经典型跨源连接的功能，请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误，不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后，可以使用哪个功能替换？ 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能，通过建立对等连接，实现DLI与
您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。IAM策略是优先考虑拒绝（deny）权限的，即使有允许（allow）权限，如果有拒绝权限存在，也会导致授权失败。 排查方案 在OBS管理控制台找到DLI作业桶。
Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作，即支持SELECT语法来查询Hudi表中的数据。
lGC。 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业所在行，单击按钮，查看作业详情，获取作业ID。 图6 获取作业ID 在对应作业的“操作”列，单击“Spark UI”，进入“Spark UI”页面。 在“Spark UI”页面，在上方菜单
设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 在“提交日志”页签，可以查看提交作业的过程信息。
该场景作业需要运行在DLI的独享队列上，因此要与Doris建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris，请
行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板 Spark作业模板的创建方法是在创建Spark作业时，可直接将配置完成的作业信息设置为模板。
Manager上，选择“系统 > 权限 > 用户”，单击“添加用户”，在添加用户页面分别配置如下参数。 用户名：自定义的用户名。当前示例输入为：hivetestusr。 用户类型：当前选择为“人机”。 密码和确认密码：输入当前用户名对应的密码。 用户组和主组：选择supergroup 角
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
