检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入标签管理页面,显示当前数据库的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。 输入框输入内容后单击'添加',将标签添加到输入框中。 图1 数据库添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如
Kafka,请确保被监控表的REPLICA IDENTITY 已经被配置成FULL ,默认值是DEFAULT。 否则,Flink SQL将无法正确解析Debezium数据。 当配置为 FULL 时,更新和删除事件将完整包含所有列的之前的值。 当为其他配置时,更新和删除事件的“before”字段将只包含primary
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,缓存中最先添加的条目将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length
该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“添加队列”。 在“添加队列”界面,首先需要配置队列的基础配置,具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列:用于运行SQL作业。 通用队列:用于运行Spark作业
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题: 创建数据库和表
DLI程序包标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包,单击操作列的“更多 > 标签”,显示当前程序包组或程序包的标签信息。
最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业:终止启动中和运行中的作业。
操作指导 描述 队列网络连通 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,本节操作介绍队列与外部数据源之间的网络连通方法,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 配置DLI 队列与公网网络连通
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导(异常自动重启)
表示一次性批量写入的数据条数,值必须为正整数,上限为100,默认值为10。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。例如当配置项设置为car_${car_brand}时,如果一条记录的car_brand列值为BMW,则该配置项在该条记录下为car_BMW。 通过这种方式将数据
Flink SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据操作语句DML 数据类型 自定义函数 内置函数 地理函数 配置时间模型 CEP模式匹配 StreamingML 保留关键字 父主题: 历史版本
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
java:624) at java.lang.Thread.run(Thread.java:748) 问题原因 在CDM界面创建迁移作业,配置DLI目的连接参数时,“资源队列”参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选
算子存在性能瓶颈,可以尝试优化状态操作的性能。主要可以尝试通过如下方式优化: 增加状态操作内存,降低磁盘IO 增加单slot cu资源数 配置优化参数: taskmanager.memory.managed.fraction=xx state.backend.rocksdb.block
'时需配置,格式为: 'partition:0,offset:42;partition:1,offset:300'。 connector.startup-timestamp-millis 否 指定起始消费时间戳,'startup-mode'为'timestamp'时需配置。 connector
testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5