检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
version 否 Kafka版本,支持:'0.10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。 format.type 是 数据序列化格式,支持:'csv'、 'json'及'avro'等。 format.field-delimiter
"name": "xxxxxxxx" } } } } 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token:
DLI表为MANAGED View为VIEW partition_columns 否 Array of Strings 分区字段。只有OBS分区表有该参数,其他表没有该参数。 若URI中的过滤条件“with-detail=false”,则只返回“data_location”,“table_name”,“table_type”三个参数。
网段:配置队列网段。例如,当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合,否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。 步骤2:创建RDS MySQL数据库和表
义函数中显式重写 getTypeInference( ) 方法。 建议使用注解方式,因为它可使自定义类型推导逻辑保持在受影响位置附近,而在其他位置则保持默认状态。 importorg.apache.flink.table.annotation.DataTypeHint; importorg
付费。 套餐包不支持抵扣已使用的资源。 套餐包到期后,按需资源不会自动关闭,将会以按需付费的方式继续使用。 存储套餐的额度每个小时会重置。其他类型套餐包额度按月重置。 队列使用约束限制 DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。运行作业时按照用户
BIGINT 必须大于等于1,表示将第occurrence次匹配的字符串替换为replace_string,为1时表示替换所有匹配的子串。为其他类型或小于1时,返回报错。默认值为1。 说明: 该字段仅Spark3.1.1版本的功能适用。 返回值说明 返回STRING类型的值。 如果
BIGINT 必须大于等于1,表示将第occurrence次匹配的字符串替换为replace_string,为1时表示替换所有匹配的子串。为其他类型或小于1时,返回报错。默认值为1。 说明: 该字段仅Spark3.1.1版本的功能适用。 返回值说明 返回STRING类型的值。 如果
义函数中显式重写 getTypeInference( ) 方法。 建议使用注解方式,因为它可使自定义类型推导逻辑保持在受影响位置附近,而在其他位置则保持默认状态。 importorg.apache.flink.table.annotation.DataTypeHint; importorg
使用keytool工具生成keystore和truststore文件,其中需要使用到安全集群的安全证书(CloudSearchService.cer),keytool工具还有其他参数,可根据需求设置。 打开cmd,输入下列命令生成含有一个私钥的keystore文件。 keytool -genkeypair -alias
指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。 注意事项 无。 示例 将流kafka_sink的数据输出到Kafka中。
OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。 CloudTable表表示数据储存在CloudTable服务的表中。 可通过DLI创建表,与其他服务的数据进行关联,以此来实现不同数据源的联合查询分析。 常量与变量 环境变量中,常量与变量的区别如下: 常量在程序运行过程中,所表示的值是无法被改变的。
表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 队列网络连通 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,本节操作介绍队列与外部数据源之间的网络连通方法,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。
指定该配置项时,服务仅加载该认证下指定的文件和密码,系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息,需要用户手动在“kafka_properties”属性中配置。 注意事项 无。 示例 将流kafka_sink的数据输出到Kafka中。
tr2从左侧填补。 ltrim ltrim([<trimChars>,] string <str>) STRING 删除字符串左边的空格,其他的空格保留。 parse_url parse_url(string urlString, string partToExtract [, string
tr2从左侧填补。 ltrim ltrim([<trimChars>,] string <str>) STRING 删除字符串左边的空格,其他的空格保留。 parse_url parse_url(string urlString, string partToExtract [, string
在DLI Console上执行UDTF相关操作时,需要使用自建的SQL队列。 不同的IAM用户使用UDTF时,除了创建UDTF函数的用户,其他用户如果需要使用时,需要先进行授权才可使用对应的UDTF函数。授权操作参考如下: 登录DLI管理控制台,选择“ 数据管理 > 程序包管理”页面,选择对应的UDTF
桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row Formats默认的策略是根据Part文件大小进行滚动,需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk
桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row Formats默认的策略是根据Part文件大小进行滚动,需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk
window_start, window_end [, col_key1...]: 指定分区字段,需要包含window_start, window_end以及其他分区键。 ORDER BY time_attr [asc|desc]: 指定排序列,必须是时间属性。目前 Flink 支持处理时间属性和事件时间属性。