检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cast函数转换 显式转换 转换结果 cast(date as date) 相同DATE值。 cast(timestamp as date) 根据本地时区从TIMESTAMP得出年/月/日，将其作为DATE值返回。 cast(string as date) 如果字符串的形式是“yyyy-
选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明： 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明： 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。
典型场景示例：迁移Kafka数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
k Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkpoint成功时生成。如果没
* 200) ELSE 0 END ) a GROUP BY a.Key; JOIN数据倾斜解决方案 登录数据湖探索管理控制台，选择“SQL作业”，在要修改的作业所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“
基本概念 租户 DLI支持多个组织、部门或应用共享使用资源。通过提供一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。多个不同的租户统称多租户。租户对应公司。一个租户可以创建多个子用户，并可以对不同用户授予不同权限。 项目 各个服务中的一些可以访问的资源集合称为项目。一
待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明： 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 删除队列：删除此队列。 提交作业：向此队列提交作业。 终止作业：终止提交到此队列的作业。 赋权：当前用户可将队列的权限赋予其他用户。
连接容器镜像服务。 登录SWR管理控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。
array<T> <b>[,...])，concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串，合并为一个字符串，可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
array<T> <b>[,...])，concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串，合并为一个字符串，可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
Flink作业授权 表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明： 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云，才能进行授权操作。 权限设置 全选：所有的权限都勾选上。 查看作业详情：查看此作业的作业详情。 更新作业：编辑修改此作业。 删除作业：删除此作业。
计费概述 数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。
2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
约束与限制 作业相关约束限制 DLI支持的作业类型：Spark SQL、SparkJar、Flink SQL、Flink Jar DLI支持的Spark版本：Spark 3.3.1、Spark 3.1.1（EOM）、Spark 2.4.5（EOM）、Spark 2.3（EOS） DLI支持的Flink版本：Flink
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析
使用DLI提交SQL作业查询RDS MySQL数据 操作场景 DLI可以查询存储在RDS数据库中的数据，本节操作介绍使用DLI提交SQL作业查询RDS MySQL数据的操作步骤。 本例创建RDS实例并新建数据库和表，创建DLI弹性资源池队列，通过增强型跨源连接打通DLI弹性资源池
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持数据湖探索 数据湖探索（Data Lake Insight，以下简称DLI）是完全兼容Apache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
