检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lookup.cache.max-rows 否 -1 Long 维表配置，缓存的最大行数，超过该值时，缓存中最先添加的条目将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置，缓存超时时间，超过该时间的数据会被剔除。格式为：{length
该参数与'primary key'配合使用。 未配置'primary key'时，支持copy及insert两种模式追加写入。 配置'primary key'，支持copy、upsert以及insert三种模式更新写入。 注意：由于dws不支持更新分布列，因而配置的更新主键必须包含dws表中定义的所有分布列。
连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector
开启HTTPS后，需要在创建表的with子句中添加如下配置参数： 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 请在Flink“作业编辑”页面选择“运行参数配置”，选择“开启Checkpoint”，否则会导致
升级引擎版本后是否对作业有影响： 功能增强，无影响 默认配置spark.sql.adaptive.enabled=true 说明： Spark2.4.x：在Spark 2.4.x版本中，默认情况下spark.sql.adaptive.enabled配置项的值是false，即自适应查询执行（Adaptive
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题： 表相关
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题： 创建数据库和表
仅在选择“包年/包月”计费模式，或在“按需计费”模式中，勾选“专属资源模式”时，支持配置“高级配置”。 在“队列类型”中，勾选了“专属资源模式”后，需要选择“高级选项”。 默认配置：由系统自动配置。 自定义配置： “网段”：支持指定使用的网段范围。如需使用DLI增强型跨源，DLI队列网段与数据源网段不能重合。
); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- Y Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，在搜索框中搜索
java:624) at java.lang.Thread.run(Thread.java:748) 问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台，选
资源池管理页面。 选择要操作的弹性资源池，在“操作”列，单击“添加队列”。 在“添加队列”界面，首先需要配置队列的基础配置，具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业
进入标签管理页面，显示当前数据库的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。 输入框输入内容后单击'添加'，将标签添加到输入框中。 图1 数据库添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。 如
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例：创建弹性资源池并运行作业 典型场景示例：配置弹性资源池队列扩缩容策略 创建非弹性资源池队列（废弃，不推荐使用）
'时需配置，格式为: 'partition:0,offset:42;partition:1,offset:300'。 connector.startup-timestamp-millis 否 指定起始消费时间戳，'startup-mode'为'timestamp'时需配置。 connector
Kafka，请确保被监控表的REPLICA IDENTITY 已经被配置成FULL ，默认值是DEFAULT。 否则，Flink SQL将无法正确解析Debezium数据。 当配置为 FULL 时，更新和删除事件将完整包含所有列的之前的值。 当为其他配置时，更新和删除事件的“before”字段将只包含primary
tion作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction
标签”，显示当前程序包组或程序包的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签，用户需要预先在标签管理
最后修改时间 作业运行完成的时间。 操作 编辑：可修改当前作业配置，重新执行作业。 SparkUI：单击后，将跳转至Spark任务运行情况界面。 说明： 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业：终止启动中和运行中的作业。
具有一项安全检查，用于防止运行危险的VACUUM命令，当指定保留期阈值少于168小时时会报错限制该操作。 如果确定指定保留期阈值进行vacuum操作，可通过将 Spark 配置属性 spark.databricks.delta.retentionDurationCheck.enabled 设置为 false 来关闭此安全检查。
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启） 父主题： Flink作业开发指南
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
