检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这是因为DLI在执行SQL作业时，会对表进行元数据更新，如果在作业执行完成前修改了表名，会和作业的元数据更新过程冲突，从而影响对数据大小的判断。 为了避免这种情况，建议在SQL作业执行完成后，等待5分钟后再修改表名。确保系统有足够的时间更新表的元数据，避免因修改表名而导致的数据大小统计不准确的问题。
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。
本文介绍了DLI服务提供的V3版本的SDK，列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java huaweicloud-sdk-java-v3
DDL：与传统DDL操作一致，即创建和删除数据库，创建和删除表的作业。 QUERY：执行SQL查询数据的作业。 INSERT：执行SQL插入数据的作业。 UPDATE：更新数据。 DELETE：删除SQL作业。 DATA_MIGRATION：数据迁移。 RESTART_QUEUE：重启队列。 SCALE_QUEUE：
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 column 待更新的目标列。 EXPRESSION 需在目标表中更新的源表列值的表达式。 boolExpression 过滤条件表达式。 所需权限 SQL权限 表2 UPDATE所需权限列表
指定的instant所更新或插入的文件位于哪个分区 file_id 指定的instant所更新或插入的文件的ID previous_commit 指定的instant所更新或插入的文件的文件名中的时间戳 total_records_updated 该文件中多少个record被更新 total_records_written
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
提示OBS Bucket没有授权怎么办？ DLI更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。
certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int 创建时间戳。 update_time Int 更新时间戳。 krb5_conf String krb5配置文件obs路径。
certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int 创建时间戳。 update_time Int 更新时间戳。 krb5_conf String krb5配置文件obs路径。
WHEN flag IN ('android', 'iphone')THEN user_id ELSE NULL END) AS app_uv 可调整为 COUNT(DISTINCT user_id) FILTER(WHERE flag IN ('android', 'iphone'))
主题管理 在对应主题的“操作”列中，单击“添加订阅”，选择“协议”，确定订阅方式。 如果选择“短信”协议，需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。
Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是 Delta 表。 注意事项 分区表转换需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable
template createTemplate 更新SQL模板 template updateTemplate 删除SQL模板 template deleteTemplates 新建Flink模板 template createStreamTemplate 更新Flink模板 template
ssl", "true") 如果CSS安全集群开启了HTTPS访问，此处需要设置为“true”，并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问，此处需要设置为“false”，则不需要设置后面安全证书、文件地址等参数。 .option("es.net
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则
createFlinkJobTemplate(body); System.out.println(result); } 更新作业模板 DLI提供更新Flink作业模板的接口。您可以使用该接口修改一个Flink作业模板。示例代码如下： 1 2 3 4 5 6 7 public
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
连接器生产changelog流，其中每条数据记录代表一个更新或删除事件。更准确地说，数据记录中的 value 被解释为同一 key 的最后一个 value 的 UPDATE，如果有这个 key（如果不存在相应的 key，则该更新被视为 INSERT）。用表来类比，changelog
VIEW：基于给定的select语句创建视图，不会将select语句的结果写入磁盘。 OR REPLACE：指定该关键字后，若视图已经存在将不报错，并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的，否则会报错。当视图存在时，可通过增加OR REPLACE关键字来避免报错。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
