检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
0/{project_id}/databases/{database_name} dli:database:dropDatabase √ × 修改数据库配置 POST /v1.0/{project_id}/jobs/submit-job dli:database:alterDatabaseProperties
DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应更新DLI端跨源表建表语句，导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表，并添加建表配置项 truncate = true（只清空表数据，不删除表）。 建议与总结 在更新跨源目的端源表后，必须同时更新对应DLI跨源表。 父主题：
SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli.sql.join.preferSortMergeJoin（是否优先使用SortMergeJoin） dli.sql
创建自定义镜像 以tensorflow为例，说明如何将tensorflow打包进镜像，生成安装了tensorflow的自定义镜像，在DLI作业中使用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境，执行以下命令获取DLI的基础镜像。
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka
要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义： 执行引擎：负责执行队列中任务的引擎类型。 默认版本：执行引擎的默认配置版本，或者是在没有指定特定版本时系统将使用的版本。 支持版本：执行引擎支持的所有版本列表。通过查看队列的支持版本，您可以了解哪些版本的执行引擎可以用于处理队列中的任务。
文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS：表中的分区。 PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Da
控制台。 权限设置 更新：当前用户可更新弹性资源池的描述信息。 资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 规格变更：当前用户对于包年包月的弹性资源池可以执行规格变更操作。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。
队列的标签，使用标签标识云资源。包括“标签键”和“标签值”，具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版，配置该参数值为{"spec":"basic"}。 不配置该参数时默认为标准版弹性资源池。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
datasource.css。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 “Spark参数（--conf)” 配置 spark.driver.extraClassPath=/usr/share/extension/dli/spark-jar/datasource/css/*
SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 Kafka Sink配置发送失败重试机制 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 作业语义检验时提示DIS通道不存在怎么处理？
enabled 否 true Boolean Flink默认采用的是内存索引（使用Bueckt索引时不配置该项），需要将数据的主键缓存到内存中，保证目标表的数据唯一，因此需要配置该值，否则会导致数据重复，默认值：true。 write.index_bootstrap.tasks 否
口： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 服务配置”，角色选择“ClickHouseBalancer”，搜索“lb_http_port”配置参数值。默认为：21425。 数据库名为ClickHouse集群创建的数据库名称。 connector
弹性资源池名称。 description 否 String 弹性资源池描述信息。 max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。 actual_cu 否 Integer 当前实际的CU数。 cidr_in_vpc 否 String
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办？ DLI增强型跨源连接DWS失败怎么办？ 创建跨源成功但测试网络连通性失败怎么办？ 怎样配置DLI队列与数据源的网络连通？ 为什么DLI增强型跨源连接要创建对等连接？ DLI创建跨源连接，绑定队列一直在创建中怎么办？ 新建跨源连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
