检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
keyToExtract]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 urlString 是 STRING URL链接。无效URL链接会返回报错。 partToExtract 是 STRING 取值包含:HOST、PATH、QUERY、REF、PROTOCOL、A
queue_max_cu_num 队列最大CU 展示用户队列中的最大CU。 ≥0 队列 5分钟 queue_priority 队列优先级 展示用户队列的优先级。 1~100 队列 5分钟 queue_cpu_usage 队列CPU使用率 展示用户队列的CPU使用率。 该指标仅适用于普通队列。
周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分区被生命周期回收,优先级高于恢复表分区生命周期。即当使用禁止表或指定分区的生命周期功能时,设置待禁止或恢复生命周期的表的分区信息是无效的。 禁止表的生命周期功能后,
键和运算符。 条件键表示策略语句的 Condition 元素中的键值,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作。详细请参考策略语法中的条件键说明。 服务级条件键,仅适用于对应服务的操作。 运算符与条件键一起使用,构成完整的条件判断语句。具体内容请参考表1。
String 导出数据的编码格式。默认使用utf-8。 支持以下编码格式: utf-8 gb2312 gbk quote_char 否 String 用户自定义引用字符。 默认值: 英文双引号(") 仅在数据格式为csv格式时支持配置引用字符。 引用字符在导出作业结果时用于标识文本字段的开始和结束,即用于分割字段。
各个分区的数据量是会有波动的,分区下桶的个数设计一般会按照最大分区数据量计算,这样会出现越细粒度的分区,桶的个数会冗余越多。例如: 采用天级分区,平均的日增数据量是3GB,最多一天的日志是8GB,这个会采用Bucket桶数= 8GB/2GB = 4 来创建表;每天的更新数据占比较
将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部连接当前仅支持文本常量 TRUE 作为谓词。 示例 如果表函数返回了空结果,左表(outer)的行将会被删除 SELECT users, tag
scale.enable false 该配置表示是否开启动态扩缩的功能,即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时,表示不允许。 当前配置为true时,表示允许。 默认值为false。 flink.dli.job
使用preCombineField字段进行数据过滤的逻辑,默认使用DefaultHoodieRecordPayload,同时也提供了多种预置Payload供用户使用,如OverwriteNonDefaultsWithLatestAvroPayload、OverwriteWithLatestAvro
COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖,表模型采用MOR表。 实时入湖一般的性能要求都在分钟内或者分钟级,结合Hudi两种表模型的对比,因此在实时入湖场景中需要选择MOR表模型。 Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时
"00000000000000000000143", "table": "PRODUCTS" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。 status 是 String 具体集群状态信息可参见表3。 resource_mode
0009 系统限制。 400 DLI.0011 文件权限校验错误。 400 DLI.0012 资源对象不可用。 401 DLI.0013 用户认证错误。 401 DLI.0014 服务认证错误。 400 DLI.0015 Token解析错误。 400 DLI.0016 身份角色错误。
服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。 表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。
setOverWrite(Boolean.TRUE)。 当OBS桶目录下有文件夹和文件同名时,加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 导入分区数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表指定分区中。示例代码如下:
转发到底层Schema Registry的属性Map。这对于没有通过Flink显示配置的配置项非常有用。但是,请注意,Flink配置项具有更高的优先级。 avro-confluent.ssl.keystore.location 否 无 String SSL keystore的位置/文件。 avro-confluent
"elastic_resource_pool_name" : "elastic_pool_0623_02" } 状态码 状态码 描述 200 OK 400 用户输入参数错误,例如创建已存在的弹性资源池 403 Forbidden 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN
<=)比较时,会默认将字符串转换为数值类型,因此不支持字符串内有除数字字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN
转发到底层Schema Registry的属性Map。这对于没有通过Flink显示配置的配置项非常有用。但是,请注意,Flink配置项具有更高的优先级。 debezium-avro-confluent.ssl.keystore.location 否 (none) String SSL keystore的位置/文件。