检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列和“队列CU时套餐包”计划于2024年3月31日 00:00(北京时间)停止销售(EOM)。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2025年6月30日 00:00(北京时间)下线(EOL)。 影响 EOM后,不再支持新购队列资源,包括不支持
kafka,需配置为'upsert-kafka' connector.version 否 Kafka版本,仅支持:'0.11' format.type 是 数据序列化格式,支持:'csv', 'json'及'avro'等 connector.topic 是 kafka topic名 connector
假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池(CU范围:64CUs),购买时长为一个月,在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上(假设每天累计12个小时实际CUs为128CUs,超出规格64CUs。),因此在2023/03/10 1
存在一些配置不支持配置,如'key.deserializer'和'value.deserializer'。 key.format 否 无 String 序列化和反序列化Kafka消息key的格式。 注意: 若配置了该参数,则'key.fields'也需要配置,否则kafka的记录中key会为空。 取值如下:
10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。 format.type 是 数据序列化格式,支持:'csv'、 'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为c
String DLI侧创建的Kerberos类型的跨源认证名称。 创建跨源认证 数据类型映射 HBase以字节数组存储所有数据,在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util
Boolean 是否可停止。 state 否 String 作业运行状态。 start-time 否 Long 作业启动时间。 end-time 否 Long 作业停止时间。 duration 否 Long 作业运行时长。 请求示例 无 响应示例 { "is_success":
已经给表授权,但是提示无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询,此时应先检查当前表的权限是否还存在, 检查权限是否仍然存在: 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间: 查看表是否被他人删除重建,删除表后重建的相同表名并不视作同一张表,不会继承删除表的权限。
策略优先级1-100,100优先级最高。 impact_start_time 否 String 生效开始时间。 impact_stop_time 否 String 生效结束时间。 min_cu 否 Integer 最小CU数量。 max_cu 否 Integer 最大CU数量。 请求示例
timezone) TIMESTAMP 将UTC的时间戳转化为timezone所对应的时间戳。 getdate getdate() STRING 获取当前系统时间。 hour hour(string date) INT 返回指定时间的小时,范围为0到23。 isdate isdate(string
records存储目录。设置该配置项后,bad records不会导入到目标表。 timestamp_format 否 String 指定特定的时间格式,默认为“yyyy-MM-dd HH:mm:ss”。时间格式字符定义详见表3。导入CSV及JSON类型数据时可指定。 queue_name 否 String 指定执
14-05-29 - DATE类型不包含时间,所表示日期的范围为0000-01-01 to 9999-12-31 TIME 时间类型,以HH:mm:ss表示。 例如20:17:40 - - TIMESTAMP(3) 完整日期,包括日期和时间。 例如:1969-07-20 20:17:40
存在一些配置不支持配置,如'key.deserializer'和'value.deserializer'。 key.format 否 无 String 序列化和反序列化Kafka消息key的格式。 注意: 若配置了该参数,则'key.fields'也需要配置,否则kafka的记录中key会为空。 取值如下:
“Message stream modified (41)”问题。 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink 的 HBase 连接器利用 HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util
lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 默认表示不使用该配置。
10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。 format.type 是 数据反序列化格式,支持:'csv', 'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为c
用户首次使用子账号创建队列时,需要先使用主账号登录控制台,在DLI的数据库中保持记录,才能创建队列。 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 按需队列创建完成后,如果在1小时内未运行作业,系统将进行释放。 按需队列与包年/包月队列不能互相转换,如需使用包年/包月队列,直接购买即可。
10'、 '0.11'。0.10或0.11版本号对应kafka版本号2.11-2.4.0及其他历史版本。 format.type 是 数据反序列化格式,支持:'csv', 'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为c
分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看到一个stage运行时间超过20分钟且只剩余一个task在运行,即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景
14-05-29 - DATE类型不包含时间,所表示日期的范围为0000-01-01 to 9999-12-31 TIME 时间类型,以HH:mm:ss表示。 例如20:17:40 - - TIMESTAMP(3) 完整日期,包括日期和时间。 例如:1969-07-20 20:17:40