检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
snapshot同时也作为默认值，因此可以缺省本配置项 .load("obs://bucket/to_your_table"); // 指定读取的hudi表路径，DLI仅支持使用OBS路径 dataFrame.show(100); // 2. 通过SparkSession
单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
key VALUE value [ { NULL | ABSENT } ON NULL ]) 通过将键值表达式聚合到单个JSON对象中来构建JSON对象字符串。 键表达式必须返回一个不可为空的字符串。值表达式可以是任意的，包括其他JSON函数。如果值为NULL，则ON NULL行
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table dataGenSource( attr_name attr_type
MySQL数据源 创建目的端DLI数据源的连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/jobs/{job_id}/preview 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
参数描述 参数 描述 是否必填 path 需要查询的FS路径 是 示例 call show_invalid_parquet(path => 'obs://path/hudi_table/dt=2021-08-28'); 注意事项 使用由DLI提供的元数据服务时，不支持本命令。 权限需求
方法查询的数据都为DataFrame对象，可以直接进行查询单条记录等操作（在“步骤4”中，提到将DataFrame数据注册为临时表）。 where where 方法中可传入包含and 和 or 的条件筛选表达式，返回过滤后的DataFrame对象，示例如下： 1 jdbcDF.where("id
数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL Hologres
行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( target
sparkSession.sparkContext().addFile("obs://桶名/地址/transport-keystore.jks"); sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks");
Hive数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图5 创建DLI数据源连接 配置目的端DLI数
源表上的SELECT查询（支持DLI表、OBS表）。 values_row 想要插入到表中的值，列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区，则将“part_spec”作为普通字段放置SELECT语句中。 被插入的OBS表在建表时只能指定文件夹路径。 源
创建目的端DLI数据源的连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
'null'。不过，在从包含NULL的数组或Map进行转换时，生成的JSON将包含NULL。 在从ROW转换为JSON时，结果是一个JSON数组，而不是一个JSON对象。这是因为对于SQL中的行，位置比名称更重要。 支持从BOOLEAN、TINYINT、SMALLINT、INTEGER、BIGINT、RE
WITH ( 'connector' = 'filesystem', 'format' = 'orc', 'path' = 'obs://xx' ); insert into sink select * from kafkaSource; 向kafka的作为source的topic中插入下列数据：
Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用DLI提供的元数据提交SparkSQL作业时，部分直接操作OBS路径的SQL语法暂不支持，详细说明请参考DLI Hudi SQL语法参考。 不支持在HetuEngine中写Hudi表，以及修改Hudi表结构，仅支持读Hudi表。
可视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。 云上：OBS。 云下：HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像
SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列、SQL作业、Flink
所在的位置，并指定了数据的结构，例如列名称、数据类型和表名称。数据库是表的逻辑分组。 OBS表、DLI表、CloudTable表 不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。 CloudTable表表示数据储存在CloudTable服务的表中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
