检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费 // 取值有： LATEST,从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST,从最初的数据开始消费，此策略会获取通道中所有的有效数据 String offsetPolicy;
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。
return 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。 完整样例代码和依赖包说明请参考：Python SDK概述。 查询所有数据库 DLI提供查询数据库列表接口。您可以使用该接口查询当前已创建的数据库列表。示例代码如下：
LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力，支持无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置DLI与L
println("delete db " + dbName); } 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。 查询所有数据库 DLI提供查询数据库列表接口，您可以使用该接口查询当前已创建的数据库列表。示例代码如下： 1 2 3 4 5 6 7
如果作业运行成功则作业状态显示为“已成功”，通过以下操作查看创建的数据库和表。 可以在DLI控制台，左侧导航栏，单击“SQL编辑器”。在“数据库”中已显示创建的数据库“test_sparkapp”。 图14 查看创建的数据库 双击数据库名，可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表
支持跨账号导出数据，即，如果B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管
导出作业结果是将SQL作业分析后的数据结果按指定格式存储到指定位置。 DLI默认将SQL作业结果存储在DLI作业桶中。同时也支持下载作业结果到本地或导出作业结果到指定的OBS桶。 导出作业结果到DLI作业桶 DLI在指定了一个默认的OBS桶作为作业结果的存储位置，请在DLI管理控制台的“全局配置
创建Delta表时会在元数据仓创建表的相关元数据信息。 Delta支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。
件进行合并，但是仅仅是一个Plan，没有去合并。Run过程会将TimeLine里的所有Compaction Plan一个一个去执行，一直到全部都执行完。 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异
INTERSECT：返回多个查询结果的交集，且每一个SELECT语句返回的列数必须相同，列的类型和列名不一定要相同。INTERSECT默认去重。 注意事项 不能在多个集合运算间（UNION，INTERSECT，EXCEPT）加括号，否则会出错 示例 返回“SELECT * FROM
SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤 在Flink
因为不同的业务数据经过列存压缩后大小是不一样的。 为什么建议是2GB？ 2GB的数据存储成列存Parquet文件后，大概的数据文件大小是150MB ~ 256MB左右。不同业务数据会有出入。而HDFS单个数据块一般会是128MB，这样可以有效地利用存储空间。 数据读写占用的内存空
CU时套餐包的额度会按订购周期重置。 DLI表的数据存储 按需计费 按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。 存储费用=单价*存储数据量（GB）*小时数 存储套餐包 购买了存储量套餐包，按需使用过程中优先抵扣存储套餐包的规格额度，超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
INSERT_OVERWRITE_TABLE（重写） GRANT_PRIVILEGE（数据库的赋权） REVOKE_PRIVILEGE（数据库权限的回收） SHOW_PRIVILEGES（查看其他用户具备的数据库权限） ALTER_TABLE_ADD_PARTITION（在分区表中添加分区）
行，即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景 Group By聚合倾斜 在执行Group By聚合操作时，如果某些分组键对应的数据量特别大，而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
存储费用=单价*存储数据量（GB）*小时数 存储费用：0.00013889（存储单价：元/GB）x 1024（存储数据大小：GB）x 24 x 30（小时数）= 100 元/月 合计 总费用：73828 元/月 包年/包月 计算费用：按照弹性资源池包年/包月的固定费用计费 1个月 计算费用：43520元/月
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
