检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若未配置,则会自动通过URL提取 connector.username 否 数据库认证用户名,需要和'connector.password'一起配置 connector.password 否 数据库认证密码,需要和'connector.username'一起配置 connector.read.partition.column
未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
开启HTTPS后,需要在创建表的with子句中添加如下配置参数: 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 请在Flink“作业编辑”页面选择“运行参数配置”,选择“开启Checkpoint”,否则会导致
管理Jar作业程序包 程序包管理概述 创建DLI程序包 配置DLI程序包权限 修改DLI程序包所有者 DLI程序包标签管理 DLI内置依赖包 父主题: DLI常用管理操作
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,缓存中最先添加的条目将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。
未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
升级引擎版本后是否对作业有影响: 功能增强,无影响 默认配置spark.sql.adaptive.enabled=true 说明: Spark2.4.x:在Spark 2.4.x版本中,默认情况下spark.sql.adaptive.enabled配置项的值是false,即自适应查询执行
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题: 创建数据库和表
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
高级选项 仅在选择“包年/包月”计费模式,或在“按需计费”模式中,勾选“专属资源模式”时,支持配置“高级配置”。 在“队列类型”中,勾选了“专属资源模式”后,需要选择“高级选项”。 默认配置:由系统自动配置。 自定义配置: “网段”:支持指定使用的网段范围。
其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
在CDM侧重新配置迁移作业的DLI目的连接参数,其中资源队列”参数选择已创建的DLI“SQL队列”。 CDM重新提交迁移作业,查看作业执行日志。 父主题: SQL作业运维类
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
CPU和内存比例配置合理会保证Compaction作业是稳定的,实现单个Compaction task的稳定运行。
在“添加队列”界面,首先需要配置队列的基础配置,具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列:用于运行SQL作业。 通用队列:用于运行Spark作业 、Flink 作业。
单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。 输入框输入内容后单击'添加',将标签添加到输入框中。 图1 数据库添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
connector.startup-timestamp-millis 否 指定起始消费时间戳,'startup-mode'为'timestamp'时需配置。 connector.properties.* 否 配置kafka任意原生属性。