检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据 表生命周期管理
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页
用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 parallel_number
适用场景 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表。 存储在DLI的表，表类型为MANAGED。 可在“数据管理 > 库表管理”查看DLI表数据存储量。 约束限制 存储资源无需创建，无配额约束限制，可直接使用。 仅支持在账单中查看数据存储的计费信息。详细操作参考费用账单。
DLI Hudi开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
0表示关闭超时限制，一般不建议设置为0。 session_timeout设置方法如下： 登录GaussDB(DWS) 管理控制台。 在左侧导航栏中，单击“集群管理”。 在集群列表中找到所需要的集群，单击集群名称，进入集群“基本信息”页面。 单击“参数修改”页签，修改参数“sess
相关文档 1 计算队列支持跨AZ双活 DLI跨AZ队列能够为用户提供跨区域容灾的能力，提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式 用户可以在DLI管理控制台采用API接口模式设置参数及参数值。 商用 创建批处理作业API 2020年5月 序号 功能名称 功能描述
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页
from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务 父主题： Flink作业开发指南
"area_id":"330106"} 在Redis中，查看其结果如下（与fields结果不同是因为这里array类型，在flink中的sink建表语句中没有加入double类型的数据，因此少了两个值，并不是由于fields与array不同导致）： 1) "webShop" 2) "2021-03-24
超出部分按需付费。 套餐包到期后，按需资源不会自动关闭，将会以按需付费的方式继续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面，单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的
DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1 弹性资源池规格 类型 规格 约束限制 适用场景 基础版 16-64CUs规格
Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配
1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 约束和限制 表1 增强型跨源连接约束限制 限制项 说明 适用场景约束限制 在同一队列中，如果同时使用
址： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 实例”，获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer实例的http端口： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse
from hudiSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
