检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量
SQL作业分析OBS数据 DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体OBS操作可以
都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
创建增强型跨源连接 操作场景 使用DLI访问其他数据源的数据前，首先要通过建立增强型跨源连接打通DLI和数据源之间的网络，DLI才能够访问、导入、查询、分析其他数据源的数据。 例如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和对应数据源VPC之间的网络，才能实现数据互通。
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python
"xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了，您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于IAM获取用户Token接口，返回的响应消息头中“x-subject-token”就是需要
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下： 前提条件 已参考Java SDK概述配置Java SDK环境。
Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置S
Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录，以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。
略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必备条件，体现用户数据存储在DLI中的数据量。 弹性资源池的实际CUs、已使用CUs、CU范围、规格（包周期CU） 实际CUs：弹性资源池当前分配的可用CUs。
INSERT INTO命令和INSERT OVERWRITE命令同时执行，其结果是未知的。 在从源表插入数据到目标表的过程中，无法在源表中导入或更新数据。 对于Hive分区表的动态INSERT OVERWRITE，支持覆盖涉及到的分区数据，不支持覆盖整表数据。 如果需要覆盖Dat
with_column_header 否 Boolean 导入作业时，导入的数据是否包括列名。 delimiter 否 String 导入作业时，用户自定义数据分隔符。 quote_char 否 String 导入作业时，用户自定义引用字符。 escape_char 否 String 导入作业时，用户自定义转义字符。
ssl.keystore keystore的存放路径，“flink.keystore”表示用户通过generate_keystore.sh*工具生成的keystore文件名称。 是 /opt/flink/usrlib/userData/flink.keystore security
</dependency> 注意事项 暂不支持通过python写UDF、UDTF、UDAF自定义函数。 如果使用IntelliJ IDEA工具对创建的自定义函数进行调试，则需要在IDEA上勾选：include dependencies with "Provided" scope，
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
OBS表压缩率较高怎么办？ 字符码不一致导致数据乱码怎么办？ 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ join表时
数据相关 导入数据 插入数据 清空数据
Flink作业管理相关API 触发Flink作业保存点 导入Flink作业保存点
alterDatabaseOwner 创建表 table createTable 删除表 table deleteTable 导出表数据 table exportData 导入表数据 table importData 修改表的所有者 table alterTableOwner 创建队列 queue createQueue
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
