检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池计费 弹性资源池计费模式 弹性资源池为DLI作业运行提供计算资源。弹性资源池支持三种计费模式： 包年包月：是预付费模式，按订单的购买周期计费。拥有专属的计算资源，空闲（无作业运行）时不会释放，使用体验更佳，价格比按需计费模式更优惠。 适用于可预估资源使用周期的场景，例如已完成开发进入生产阶段的项目
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证，将数据源的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问数据源。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过
描述表信息（废弃） 功能介绍 该API用于描述指定表的元数据信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables
MERGE INTO 命令功能 通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 命令格式
配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有
计费概述 数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项，
状态码 状态码如表1所示。 表1 状态码 状态码 编码 状态码说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如，切换到HTTP
Flink Jar作业开发基础样例 概述 用户可以基于Flink的API进行二次开发，构建自己的应用Jar包，提交到DLI队列运行，实现与MRS Kafka、HBase、Hive、HDFS，DWS，DCS等数据源的交互。 本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过
调整弹性资源池中队列的扩缩容策略 弹性资源池上可以添加多个不同队列用于作业运行，具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后，可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数，从而来保障作业的稳定运行。 注意事项 建议对流批业务实施资源池的精细化管理
查询增强型跨源连接列表 功能介绍 该API用于查询该用户已创建的增强型跨源连接列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections 参数说明 表
扫描量计费 按扫描量计费 按扫描量计费即：按运行查询作业扫描的数据量付费，如果扫描字节数量少于10M， 按10M计算。 且数据定义语言（DDL）语句（如 CREATE、ALTER、DROP TABLE等语句）、管理分区语句、失败的查询语句无需付费。 对于取消的查询，按取消查询时扫描的总数据量计费
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoint
MERGE INTO 命令功能 通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项
将OBS数据导入至DLI 本节操作介绍将OBS上的数据导入到DLI控制台的表中。 注意事项 导入数据时只能指定一个路径，路径中不能包含逗号。 如果将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。
使用DLI提交Spark Jar作业 操作场景 DLI允许用户提交编译为Jar包的Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前，将程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业
典型场景示例：迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调测模型训练代码。完成DLI对接Notebook实例后，您可以基于Notebook提供的Web交互的开发环境同时完成代码的编写与作业的开发
从PostgreSQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
