检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名，用户自定义作业主类所在的jar包。 dependency_jars
dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名，用户自定义作业主类所在的jar包。 dependency_jars
partition.upper-bound必须同时存在或者同时不存在。 scan.fetch-size 否 每次从数据库拉取数据的行数。默认值为0，表示忽略该提示。 lookup.cache.max-rows 否 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。-1表示不使用缓存。
ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 debezium-json.timestamp-format.standard 否 'SQL'
Depulicate等算子经过最大保留时间后仍未更新的中间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 仅DIS数据源支持配置脏数据策略。
skip-null-values 否 true Boolean 是否跳过null。 ignore-retractions 否 false Boolean 连接器应忽略更新插入/撤回流模式下的收回消息。 key-column 否 无 String Redis 表schema的key source.parallelism
示例说明：根据示例1：创建OBS非分区表中创建的OBS表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建table1时使用的是何种语法，都可以使用DataSource语法的CTAS创建table1_ctas。
exec.batch-lookup.enabled' 选项 ignore-retractions 否 false Boolean 连接器应忽略更新插入/撤回流模式下的收回消息。 key-column 否 无 String Redis 表schema的key 示例 从Kafka源表
如果MRS集群开启了Kerberos认证，创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的其他依赖文件中，未开启Kerberos认证该步骤忽略。如图1所示： 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索
如果存在有效的Checkpoint，则会从此Checkpoint开始继续消费 // 取值有： LATEST,从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST,从最初的数据开始消费，此策略会获取通道中所有的有效数据
oint，则会从此Checkpoint开始继续消费 // 取值有： LATEST 从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST 从最初的数据开始消费，此策略会获取通道中所有的有效数据
示例说明：根据示例1：创建OBS非分区表中创建的OBS表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建table1时使用的是何种语法，都可以使用DataSource语法的CTAS创建table1_ctas。
最后一个分区的最大值。分区扫描参数，具体请参考分区扫描功能介绍。 scan.fetch-size 否 0 Integer 每次从数据库拉取数据的行数。如果指定为0，则会忽略sql hint。 scan.auto-commit 否 true Boolean 是否设置自动提交，以确定事务中的每个statement是否自动提交
用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 create table
当data-type设置为“sorted-set”数据类型的默认score。 ignore-retraction 否 false Boolean 是否忽略retract消息。 skip-null-values 否 true Boolean 是否跳过null。若为false，则设置为字符串"null"。
TBLPROPERTIES`和`ALTER TABLE ... SET TBLPROPERTIES`指定external属性，命令执行成功，但实际上external属性被静默忽略，表依然是managed table。 Spark3.3.x： 通过 `CREATE TABLE ... TBLPROPERTIES`和`ALTER
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
