检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例：创建弹性资源池并运行作业 典型场景示例：配置弹性资源池队列扩缩容策略 创建非弹性资源池队列（废弃，不推荐使用）
登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建程序包”。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。
SDK的获取与安装 Java SDK安装方式 您可以通过以下两种方式安装Java SDK。 导入Maven依赖，适用于使用Maven管理的Java项目。具体操作请参考方法一：通过Maven安装DLI SDK依赖。 在集成开发环境中导入JAR文件，适用于使用Eclipse作为集成开
扫描量计费=单价*扫描量数据（GB）。 如果扫描字节数量少于10M， 则按10M计算。 按扫描量计费，您可以在控制台查看扫描量。 以SQL作业为例： 单击“作业管理 > SQL作业”。 在作业管理控制台页面筛选使用default队列的作业。 单击展开作业详情，查看作业扫描量。 图1 配置费用示例 计费示例 价格仅供参
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DDS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 8 9 10 CREATE TABLE [IF NOT
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DDS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 8 9 10 CREATE TABLE [IF NOT
权操作请参考《数据湖探索用户指南》。 创建队列。在“资源管理 > 队列管理”下，单击右上角“购买队列”，进入购买队列页面选择“通用队列”，即Spark作业的计算资源。 如果创建队列的用户不是管理员用户，在创建队列后，需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查： 确认SMN主题是否已经创建。 如果未创建，请在SMN服务管理控制台创建一个新的主题。 如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 检查IAM权限。 如果SMN主题已经存
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联RDS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 CREATE TABLE [IF NOT EXISTS] TABLE_NAME
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DCS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 指定Key 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DCS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 指定Key 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE
from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
Flink作业列表“操作”列中的“更多 > 导入保存点”，导入OBS中最新成功的Checkpoint，并从中恢复。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行，选择“操作 > 导入保存点”。 在导入保存点界面选择Checkpoint的
问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联RDS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 CREATE TABLE [IF NOT EXISTS] TABLE_NAME
的自定义策略，可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目，不支持企业项目，表示仅能在IAM中给用户组授权并生效，如果在企业管理中授权，则该自定义策略不生效。 关于IAM项目与企业项目的区别，详情请参见：IAM与企业管理的区别。 仅在表1中的接口支持自
简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink与Hive的集成包含两个层面，一是利用了Hive的MetaStore作为持久化的Catal
完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查询Spark作业日志 登录DLI管理控制台，单击“作业管理 > Spark作业”。 选择待查询的Spark作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统，并行文件系统（Parallel
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
