检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了避免数据丢失或者数据被覆盖，开启作业异常自动重启，需要配置为“从checkpoint恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs时，请配置主NameNode的所在节点信息。
实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
恢复表或指定分区的生命周期功能 表及其分区重新参与生命周期回收，默认使用当前表及分区上的生命周期配置。 开启表生命周期前可以修改表及分区的生命周期配置，防止开启表生命周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price
表的DESCRIBE_TABLE权限 细粒度权限：dli:table:describeTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DESCRIBE FORMATTED delta_table0; DESCRIBE FORMATTED
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka
连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector
String krb5配置文件obs路径。 keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。 keystore_location String keystore配置文件obs路径。
dli:table:insertIntoTable, dli:table:dropTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int
username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector.read.partition.column 否 用于对输入进行分区的列名
依据的DLI分区表。在OPTIONS中配置pmultiLevelDirEnable和compression。 multiLevelDirEnable：本例设置为true，表示查询该表时会迭代读取表路径中的所有文件和子目录文件，若不需要此项配置可以设置为false或不设置（默认为false）；
细粒度权限：dli:database:createTable, dli:table:select。 LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW CLONE
connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid connector.write-schema 否 table存储模式下可配置，是否将当前schema写入到redis，默认为false
static_estimator_config 否 String 每个算子的流量/命中率配置，json格式的字符串。 当static_estimator为true时需要配置该参数，配置时传入算子ID和算子流量配置。 可先行调用该接口获取算子ID，即响应消息中stream_graph包含的o
'sink-partitioner'为'custom'时，需配置，如'org.mycompany.MyPartitioner' 。 update-mode 否 支持：'append'、'retract'及'upsert'三种写入模式。 connector.properties.* 否 配置kafka任意原生属性 示例
细粒度权限：dli:table:createTable, dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 Table创建成功，创建的Hudi表可以进入DLI控制台，在左侧菜单栏选择”数据管理”->
参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型，对于upsert kafka，需配置为'upsert-kafka' connector.version 否 Kafka版本，仅支持：'0.11' format.type 是 数据序列化格式，支持：'csv'
细粒度权限：dli:database:createTable, dli:table:select。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0 using
>“Flink模板”。 单击页面右上角“创建模板”，弹出“创建模板”页面。 输入“名称”和“描述”。 图1 新建Flink模板 表4 模板配置信息 参数 参数说明 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 名称 模板名称，只能
图9 队列列表 单击“全局配置 > 服务授权”，选中“VPC Administrator”，单击“更新委托权限”，赋予DLI操作用户VPC资源的权限，用于创建VPC的“对等连接”。 图10 更新委托权限 单击“跨源连接 > 增强型跨源 > 创建”，配置如下连接信息后单击“确定”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
