检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数
SQL作业的操作步骤。 具体语法说明请参考Flink OpenSource SQL1.15语法概览。 进入DLI控制台，随后单击左侧菜单的“作业管理 > Flink作业”，进入Flink作业的界面。 创建Flink作业：点击界面右上角的”创建作业”按钮，在弹出窗口中配置作业名称，类型选择”Flink
1589373560798, "type": "UPDATE" } 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION
Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。
Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。 图1 Flink SQL作业编辑界面 父主题：
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DCS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 指定Key 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联CSS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联RDS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 CREATE TABLE [IF NOT EXISTS] TABLE_NAME
扫描量计费=单价*扫描量数据（GB）。 如果扫描字节数量少于10M， 则按10M计算。 按扫描量计费，您可以在控制台查看扫描量。 以SQL作业为例： 单击“作业管理 > SQL作业”。 在作业管理控制台页面筛选使用default队列的作业。 单击展开作业详情，查看作业扫描量。 图1 配置费用示例 计费示例 价格仅供参
权操作请参考《数据湖探索用户指南》。 创建队列。在“资源管理 > 队列管理”下，单击右上角“购买队列”，进入购买队列页面选择“通用队列”，即Spark作业的计算资源。 如果创建队列的用户不是管理员用户，在创建队列后，需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统，并行文件系统（Parallel
荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 如何添加
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能，常用SQL语法。除此之外，还可以实时查看监控指标及审计日志，以便及时了解DLI的健康状态。 管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板 跨源连接 常用语法 Spark SQL语法参考
partition(part='part1') select * from table2; ALTER TABLE ADD/DROP PARTITION管理分区 alter table test_delta_parts1 add partition('2024-10-28'); CONVERT
不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅
"table": "PRODUCTS" } 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DWS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 CREATE TABLE [IF NOT EXISTS] TABLE_NAME
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
