检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业，即jar包作业。 使用流程 图1 自定义镜像使用流程 获取DLI基础镜像。 使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自定义镜像。
用户可以选择样例模板或自定义的作业模板。关于模板的详细信息，请参见管理Flink作业模板。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 如您的组织已经设定DLI的相关标签策略，则需按照标
当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。 64
推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 args Array of Strings 传入主类的参数，即应用程序参数。 sc_type String 计算资源类型，目前可接受参数A, B, C。如果不指定，则按最小类型创建。具体资源类型请参见表3。
table_name 是 String 导入表的名称。 with_column_header 否 Boolean 导入数据中的第一行数据是否包括列名，即表头。默认为“false”，表示不包括列名。导入CSV类型数据时可指定。 delimiter 否 String 用户自定义数据分隔符，默认为逗号。导入CSV类型数据时可指定。
ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的，Connector 在处理数据时需要自己保证语义正确。
日志。 若需要获取key的值，则可以通过在Flink中设置主键获取，主键字段即对应Redis的key。 若定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最
ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的，Connector 在处理数据时需要自己保证语义正确。
ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 debezium-json.timestamp-format.standard
为了保证流式入库作业的稳定运行，就需要保证流式作业不在实时入库的过程中做其它任务，比如Flink写Hudi的同时会做Compaction。这看似是一个不错的方案，即完成了入库又完成Compaction。但是Compaction操作是非常消耗内存和IO的，它会给流式入库作业带来以下影响： 增加端到端时延：
SQL使用DEW管理访问凭据 如果需要获取key的值，则可以通过在Flink中设置主键获取，主键字段即对应Redis的key。 如果定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最
写入到数据库失败后的最大重试次数。 sink.parallelism 否 无 Integer 用于定义JDBC sink算子的并行度。默认情况下，并行度是由框架决定，即与上游并行度一致。 分区扫描功能介绍 为了加速Source任务实例中的数据读取，Flink为JDBC表提供了分区扫描功能。以下参数定义了从多个任务并行读取时如何对表进行分区。
INTERVAL string range INTERVAL interval表示时间间隔。有两种类型，分别为： 一种为"yyyy-MM"即保存年份和月份，精度到月份，它的range参数可以为YEAR或者YEAR To Month。 一种为天时间"dd HH:mm:sss.fff
INTERVAL string range INTERVAL interval表示时间间隔。有两种类型，分别为： 一种为"yyyy-MM"即保存年份和月份，精度到月份，它的range参数可以为YEAR或者YEAR To Month。 一种为天时间"dd HH:mm:sss.fff
ARRAY(JSON));-- [JSON 'null'] is_json_scalar(json) → boolean 判断json是否为标量（即JSON数字、JSON字符串、true、false或null）： select is_json_scalar(json'[1,22]'); --
adaptive.enabled配置项的值是false，即自适应查询执行（Adaptive Query Execution，简称AQE）特性是关闭的。 Spark3.3.x：从Spark3.3.x-320版本起开始默认开启AQE特性，即spark.sql.adaptive.enabled配置项的值是true。
ENFORCED。 它申明了是否输入/出数据会做合法性检查（是否唯一）。Flink 不存储数据因此只支持 NOT ENFORCED 模式，即不做检查，用户需要自己保证唯一性。 Flink 假设声明了主键的列都是不包含 Null 值的，Connector 在处理数据时需要自己保证语义正确。
ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 canal-json.timestamp-format.standard
EXCEPT_KEY] 定义消息体（Value）格式如何处理消息键（Key）字段的策略。 默认情况下，表结构中 'ALL' 即所有的字段都会包含在消息体格式中，即消息键字段在消息键和消息体格式中都会出现。 scan.startup.mode 否 group-offsets String
访问LakeFormation Catalog元数据的权限 操作流程 图1 自定义委托操作流程 约束与限制 自定义委托名称不可与系统默认委托重复，即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。 允许DL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
