检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： // 通过primaryKey指定主键，如果是复合主键需要用逗号分隔 create table
name，new_column_name，table_name_*为用户自定义参数。 重命名一个表。 ALTER TABLE name RENAME TO new_name 修改表的列名，为列添加注释（可选项）和属性（可选项），可参考描述查看支持的列属性。 ALTER TABLE
看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table
example.com/v3/projects" } } 从控制台获取项目ID 从控制台获取项目ID的步骤如下： 登录管理控制台。 鼠标悬停在右上角的用户名，选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题： 公共参数
自建的SQL队列。 跨账号使用UDF时，除了创建UDF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDF函数。授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDF Jar包，单击“操作”列中的“权限管理”，进入权限
系统提示信息，执行成功时，信息可能为空。 job_id 否 String 提交请求成功时，生成并提交一个新的作业，返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 status 是 String 作业状态。状态可能为运行中（RUNNING）、规格变更中（SCALING）
次。 已处理的文件在 source 的整个生命周期内存储在 state 中，因此，source 的 state 在 checkpoint 和 savepoint 时进行保存。 更短的时间间隔意味着文件被更快地发现，但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项，
指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现可插拔，如要实现自己的合并逻辑，可自行编写。 org.apache.hudi.common.model.Defaul
sert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确
Flink、trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上C
Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类，请参照 Hudi锁配置说明。 登录DLI管理控制台，选择“作业管理 > Spark作业”，进入到Spark作业的界面。 提交Hudi相关的Spark jar作业需要选择Spark版本为3
jobs:list_all”。 单击“确认”，创建策略。 图3 创建策略 在“用户组”页面，找到需要授权的用户所属的用户组，单击用户组名称，进入用户组“权限管理”页面，单击“配置权限”。 为对应的用户组授权： 在以下作用范围：选择“区域级项目”。 拥有以下权限：勾选2中创建的权限策略。
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接，单击操作列的“删除”。 单击“是”，删除增强型跨源连接。 父主题： 管理增强型跨源连接
使用跨源认证则无需在作业中配置和账号密码。 示例 从Kafka源表中读取数据，将Redis表作为维表，并将二者生成的宽表信息写入Kafka结果表中，其具体步骤如下： 参考增强型跨源连接，根据Redis和Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置
ON_VALUE这样的函数允许在遇到错误时定义回退行为。但是宽松模式会将错误转换为空序列。 特殊字符$表示JSON路径中的根节点。路径可以访问属性（$.a）、数组元素（$.a[0].b）或数组中的所有元素（$.a[*].b）。 已知限制：当前并非所有宽松模式的特性都得到了正确的支持。
Print 功能描述 Print connector用于将用户输出的数据打印到taskmanager中的error文件或者out文件中，方便用户查看，主要用于代码调试，查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出： 打印内容 条件1 条件2 标识符:任务
Print结果表 功能描述 Print connector用于将用户输出的数据打印到error文件或者taskmanager的文件中，方便用户查看，主要用于代码调试，查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出： 打印内容 条件1 条件2 标识符:任务
流读Hudi MOR表时，建议开启log index特性提升Flink流读性能 Hudi的Mor表可以通过log index提升读写性能， Sink和Source表添加属性 'hoodie.log.index.enabled'='true' 创建Flink OpenSource SQL作业
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
