检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"Timeout expired while fetching topic metadata" ,说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网
开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历史数据并保留一定时间,后续您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。其他多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前
valid_date_end 否 Long 有效期结束时间(13位时间戳)。 activate 否 Boolean 当前设置的扩缩容计划是否激活,默认为“true”,表示激活。 last_execute_time 否 Long 当前扩缩容计划最近一次执行的时间。 请求示例 无 响应示例 { "is_success":
分钟的窗口中。滑动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 SESSION(time_attr, interval) 定义一个会话时间窗口。 会话时间窗口没有一个固定的持续时间,但是它们的边界会根据 interval 所定义的不活跃时间所确定;即一个会话时间窗口在定义的间隔时间内没有事件出现,该窗口会被关闭。
DLI Spark 2.3.2版本停止服务(EOS)公告 公告说明 华为云计划于2023年12月31 00:00(北京时间)将Spark 2.3.2版本停止服务(EOS)。 影响 DLI Spark 2.3.2版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您
SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述,且长度为0~512个字符。 创建时间 创建模板的时间。 更新时间 最后修改模板的时间。 操作 “编辑”:对已经创建好的模板进行修改。 “创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。
DLI Spark 3.1.1版本停止服务(EOS)公告 公告说明 华为云计划于2024年12月31 00:00(北京时间)将Spark 3.1.1版本停止服务(EOS)。 影响 DLI Spark 3.1.1版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您
展示source到sink的数据处理流程。如图4所示。 格式化:对SQL语句进行格式化。 设为模板:将新创建的作业设置为作业模板。 主题设置:设置页面主题,可以设置字体大小,自动换行和页面风格。 帮助:跳转至帮助中心,为用户提供SQL语法参考。 简化流图 在OpenSource
no-ttl:不设置过期时间。 expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。 key-ttl
队列扩缩容计划起始小时时间。 start_minute 是 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_h
DLI Flink1.7版本停止服务(EOS)公告 公告说明 华为云于2022年12月31 00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行
每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 timeout 连接redis的超时时间,单位ms,默认值2000(2秒超时)。 访问DCS时,不支持复杂类型数据(Array、Struct、Map等)。 可以考虑以下几种方式进行复杂类型数据处理:
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
变量删除后,SQL中将无法使用该变量。 全局变量权限管理 针对不同用户,可以通过权限设置分配不同的全局变量,不同用户之间互不影响。管理员用户和全局变量的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其全局变量权限。 给新用户设置全局变量权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant
no-ttl:不设置过期时间。 expire-msec:设置key多久过期,参数为long类型字符串,单位为毫秒。 expire-at-date:设置key到某个时间点过期,参数为UTC时间。 expire-at-timestamp:设置key到某个时间点过期,参数为时间戳。 key-ttl
级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。 64 单击“确定”完成添加队列配置。 步骤3:创建专属队列和VPC的增强型跨源连接
用。 存储套餐的额度每个小时会重置。 按订购周期重置:如重置周期为月,且按订购周期重置,即如果用户1月5日订购的套餐包,之后每个月5日同一时间重置免费资源。 按自然周期重置:结合重置周期使用,如重置周期为月,且按自然周期重置,即每月1日0点重置免费资源。 DLI的套餐包中仅存储套
级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。 64 单击“确定”完成添加队列配置。 步骤3:创建数据库 在进行
Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。 数据加密服务(Data Encryption
需要回滚的Hudi表的commit instant时间戳,必选 示例 call rollback_to_instant(table => 'h1', instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳,可以通过SHOW_TIME_LINE命令检查最新的instant