检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
checkpoint_interval 否 Integer 快照时间间隔。 单位为秒，默认值为“10”。 log_enabled 否 Boolean 是否启用日志存储。默认为“false”。 obs_bucket 否 String OBS桶名。 smn_topic 否 String SMN主题名。当作业异常时，向该SMN主题推送告警信息。
连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接
Flink SQL 中的 INSERT / UPDATE / DELETE 消息编码为 Canal 格式的 JSON 消息，输出到 Kafka 等存储中。 但需要注意的是，目前 Flink 还不支持将 UPDATE_BEFORE 和 UPDATE_AFTER 合并为一条 UPDATE 消息。因此，Flink
默认值 数据类型 参数说明 connector 是 无 String 读取表类型。需要填写'hudi' path 是 无 String 表存储的路径。如obs://xx/xx table.type 是 COPY_ON_WRITE String Hudi表类型。 MERGE_ON_READ
at_least_once：数据至少被消费一次。 默认值为“exactly_once”。 log_enabled 否 Boolean 是否启用日志存储。默认为“false”。 obs_bucket 否 String OBS桶名。 root_id 否 Integer 父作业ID。 edge_group_ids
只对于MOR表，高（合并parquet + delta log) 低 （读取parquet文件性能） COW表查询 实时视图读取（SparkSQL为例）：直接读取元数据服务里面存储的Hudi表即可，${table_name}表示表名称。 select (字段 or 聚合函数) from ${table_name}; 实时视图读取（Spark
作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，标签，结果条数，已扫描数据，扫描数据条数，错误记录条数，存储路径，数据格式，数据库，表，表头，分隔符，引用字符，转义字符，日期格式，时间戳格式，CPU累计使用量，输出字节。 建表（create ta
多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
如果您需要对您所拥有的DLI服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 默认情况下，新建的IAM用户没有任
还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Ogg JSON 格式的消息, 输出到 Kafka 等存储中。 但需要注意, 目前 Flink 还不支持将 UPDATE_BEFORE 和 UPDATE_AFTER 合并为一条 UPDATE 消息
默认值 数据类型 参数描述 connector 是 无 String 读取表类型。需要填写为'hudi' path 是 无 String 表存储的路径 table.type 是 COPY_ON_WRITE String Hudi表类型。 MERGE_ON_READ COPY_ON_WRITE
nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。 升级引擎版本后是否对作业有影响： 有影响，导出orc文件中null值存储形式不同。 示例代码： 准备数据： create table test_null(id int,name string) stored as
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
