检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该参数配置后,只会读取Kafka topic在该时间点后产生的数据。 kafka_properties 否 可通过该参数配置kafka的原生属性,格式为"key1=value1;key2=value2"。具体的属性值可以参考Apache Kafka中的描述。 kafka_certificate_name 否
“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束:
“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束:
SDK的获取与安装请参考SDK获取与安装。 使用SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Python SDK列表 表1
a4.a42[0] v1 KEY_VALUE 功能描述 获取键值对字符串中某一个key对应的值。 语法 VARCHAR KEY_VALUE(VARCHAR content, VARCHAR split1, VARCHAR split2, VARCHAR key_name) 参数说明 content:输入字符串。
a4.a42[0] v1 KEY_VALUE 功能描述 获取键值对字符串中某一个key对应的值。 语法 VARCHAR KEY_VALUE(VARCHAR content, VARCHAR split1, VARCHAR split2, VARCHAR key_name) 参数说明 content:输入字符串。
数据源类型,“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 channel
数据源类型,“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 channel
update-mode 是 sink的写入类型,支持append和upsert connector.key-delimiter 否 连接复合主键的拼接符,默认为_ connector.key-null-literal 否 当key中含有null时,使用该字符代替 connector
update-mode 是 sink的写入类型,支持append和upsert connector.key-delimiter 否 连接复合主键的拼接符,默认为_ connector.key-null-literal 否 当key中含有null时,使用该字符代替 connector
目录。 程序会自动将Spark程序依赖到的相关文件上传的OBS路径,并加载到DLI服务端资源包。 ak 是 - 用户的Access Key。 sk 是 - 用户的Secret Key。 projectId 是 - 用户访问的DLI服务使用的项目编号。 region 是 - 对接的DLI服务的Region。
window_start, window_end [, col_key1...] ORDER BY time_attr [asc|desc]) AS rownum FROM table_name) -- relation applied windowing TVF WHERE
单击“创建凭据”。配置凭据基本信息。 分别配置AK和SK对应的凭据键值 本例中第一行key对应的value为用户的AK(Access Key Id) 本例中第二行key对应的value为用户的SK(Secret Access Key) 图3 在DEW中配置访问凭据 后续在DLI Spark
自定义 DLI 访问DLI元数据。 访问DLI Catalog元数据的权限 允许访问LakeFormation Catalog元数据 自定义 DLI 访问LakeFormation元数据。 访问LakeFormation Catalog元数据的权限 操作流程 图1 自定义委托操作流程
queueName=XXXX # 提交作业使用的access key。 spark.dli.user.access.key=XXXX # 提交作业使用的secret key。 spark.dli.user.secret.key=XXXX # 提交作业使用的projectId。
字段名必须为一致的数值类型,若字段类型不同,可通过CAST函数转义,例如[a, CAST(b as DOUBLE)]。 可选参数列表语法为"key1=value,key2=value2,..."。 参数说明 表1 参数说明 参数 是否必选 说明 默认值 transientThreshold 否
字段名必须为一致的数值类型,若字段类型不同,可通过CAST函数转义,例如[a, CAST(b as DOUBLE)]。 可选参数列表语法为"key1=value,key2=value2,..."。 参数说明 表1 参数说明 参数 是否必选 说明 默认值 transientThreshold 否
为"_doc",否则可为符合CSS规范的值。 es_fields 是 待插入数据字段的key,具体形式如:"id,f1,f2,f3,f4",并且保证与sink中数据列一一对应;如果不使用key,而是采用随机的属性字段,则无需使用id关键字,具体形式如:"f1,f2,f3,f4,f5"。对应CSS服务中的filed。
在右侧的“运行参数”配置区域,选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时,需要在自定义配置中配置委托信息,其中key为"flink.dli.job.agency.name",value为委托名,否则可能会影响作业运行。了解自定义DLI委托 Flink 1
为"_doc",否则可为符合CSS规范的值。 es_fields 是 待插入数据字段的key,具体形式如:"id,f1,f2,f3,f4",并且保证与sink中数据列一一对应;如果不使用key,而是采用随机的属性字段,则无需使用id关键字,具体形式如:"f1,f2,f3,f4,f5"。对应CSS服务中的filed。