检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么DLI增强型跨源连接要创建对等连接？ DLI增强型跨源连接创建对等连接的主要原因是为了实现DLI与不同VPC中的数据源之间的网络连通。 当DLI需要访问外部数据源，而这些数据源位于不同的VPC中时，由于网络隔离，DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
开源生态：通过增强型跨源连接建立与其他VPC的网络连接后，用户可以在数据湖探索的租户授权的队列中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 具体内容请参见《数据湖探索开发指南》。 存算分离 用户将数据存储到OBS后，DLI可以直接和OBS对接
创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Postgres CDC源表 - 父主题： 配置DLI与数据源网络连通（增强型跨源连接）
业。 DLI配置SparkUI只展示最新的100条作业信息。 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。 导出作业运行日志需要具有OBS桶的权限，请提前在“全局配置 > 工程配置”页面配置DLI作业桶。
use-internal-schema 否 table存储模式下可配置，是否使用redis中已存在schema，默认为false。 connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid。 示例 从Redis中读取数据。
Java SDK版本说明。 方法一：通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK： 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后，输入命令“mvn -v”,显示如下图 Maven版本信息
use-internal-schema 否 table存储模式下可配置，是否使用redis中已存在schema，默认为false。 connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid。 示例 从Redis中读取数据。
资源，并使用DLI访问资源。 前提条件 账号A已配置DLI云服务委托，且委托需包含DLI Datasource Connections Agency Access，具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已
配置BI工具连接DLI进行数据查询和分析 BI工具连接DLI方案概述 配置DBeaver连接DLI进行数据查询和分析 配置DBT连接DLI进行数据调度和分析 配置YongHong BI连接DLI进行数据查询和分析 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 配置Fine
在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。 步骤1：上传数据至OBS
数据编码格式，可选为“csv”、“json”和“user_defined”。 若编码格式为“csv”，则需配置“field_delimiter”属性。 若编码格式为“user_defined”，则需配置“encode_class_name”和“encode_class_parameter”属性。
数据编码格式，可选为“csv”、“json”和“user_defined”。 若编码格式为“csv”，则需配置“field_delimiter”属性。 若编码格式为“user_defined”，则需配置“encode_class_name”和“encode_class_parameter”属性。
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通（增强型跨源连接） 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例：配置DLI与内网数据源的网络联通 典型场景示例：配置DLI 与公网网络连通
默认值为NULL。 历史数据的默认值与列第一次设置的默认值一致，多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息，可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式，写入时必须指定列名。
户。 勾选后需配置下列参数： “SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照，开启后可基于Checkpoint（一致性检查点）恢复作业。 勾选后需配置下列参数：
Prometheus监控的配置项 在配置DLI对接AOM Prometheus监控时，系统会自动完成DLI对接AOM Prometheus监控的配置项中的参数配置。如果这些默认配置不满足您的需求，您可以在Flink作业的“自定义配置”中手动配置以下参数，且优先以您的配置为准。 表1 DLI对接AOM
deploy-mode 否 standalone String Redis集群的部署模式，支持standalone、master-replica、cluster。默认为standalone。 Redis实例类型不同配置的部署模式不同： 单机、主备、proxy集群实例都选择standalone，
中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业：配置Spark作业访问OBS中存储的数据。 提交Spark作业：完成作业编写后，提交并执行作业。 父主题： Spark作业运维类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
