检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
batch_insert_data_num = "", action = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型，"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address 是 待插
UPDATE_BEFORE 和 UDPATE_AFTER 编码为 DELETE 和 INSERT Maxwell 消息。 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，此处使用'maxwell-json'。 maxwell-json.ignore-parse-errors
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String 固定为：print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。
version'='v1' ); 相关操作 了解更多使用DLI委托获取访问凭据的开发指南请参考表1。 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource S
指定作为rowkey的dli关联表字段，支持单rowkey与组合rowkey。单rowkey支持数值与String类型，不需要指定长度。组合rowkey仅支持String类型定长数据，格式为：属性名1:长度,属性名2:长度。 Cols 定义dli表字段和ct表字段之间的对应关系；其中
field_delimiter = '', version_id = "" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型，“obs”表示数据源为对象存储服务。 region 是 对象存储服务所在区域。 encode 否 数据的编码格式，可以为“csv”或者“json”。默认值为“csv”。
batch_insert_data_num = "", action = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型，"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address 是 待插
UPDATE_BEFORE 和 UDPATE_AFTER 编码为 DELETE 和 INSERT Maxwell 消息。 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，此处使用'maxwell-json'。 maxwell-json.ignore-parse-errors
下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。 主要参数的填写说明： 包类型：File OBS路径：clinet.jks所在的OBS路径。 分组名称：自定义分组或选择已有的分组名称。 图4 创建clinet.jks
配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
name_test", "age+1").show() col 获取指定字段。不同于select，col每次只能获取一个字段，返回类型为Column类型，示例如下： 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段，返回不包含
配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。 描述 安全组规则的描述信息，非必填项。
'format-type' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，“dis”表示数据源为数据接入服务，必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
BS桶。 使用fileSystem时必须开启checkpoint，保证作业的一致性。 format.type为parquet时，支持的数据类型为string, boolean, tinyint, smallint, int, bigint, float, double, map<string
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table
field_delimiter = "", offset= ""); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型，“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。
field_delimiter = "", offset= ""); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型，“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
