检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dli:table:insertIntoTable, dli:table:dropTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int
java:624) at java.lang.Thread.run(Thread.java:748) 问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台，选
数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
口： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 服务配置”，角色选择“ClickHouseBalancer”，搜索“lb_http_port”配置参数值。默认为：21425。 数据库名为ClickHouse集群创建的数据库名称。 connector
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题： 创建数据库和表
管理Jar作业程序包 程序包管理概述 创建DLI程序包 配置DLI程序包权限 修改DLI程序包所有者 DLI程序包标签管理 DLI内置依赖包 父主题： DLI常用管理操作
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例：创建弹性资源池并运行作业 典型场景示例：配置弹性资源池队列扩缩容策略 创建非弹性资源池队列（废弃，不推荐使用）
tion作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction
自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月资源还未到期。 在购买页面开通自动续费 您可以在购买页面开通自动续费，如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启） 父主题： Flink作业开发指南
'print-identifier' = '', --配置数据前缀 'standard-error' = 'false', --输出数据到taskmanager的out文件中 'sink.parallelism' = '2' --配置并行度 ); insert into printSink
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka
topic发送数据，验证kafka sink.topic能否收到数据。 图8 查看作业任务 图9 查看kafka sink.topic JAVA样例代码 pom文件配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OB
最后修改时间 作业运行完成的时间。 操作 编辑：可修改当前作业配置，重新执行作业。 SparkUI：单击后，将跳转至Spark任务运行情况界面。 说明： 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业：终止启动中和运行中的作业。
16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的parquet文件，其数据结果如下 202103251202020001, miniAppShop, 2021-03-25
资源。 在DLI管理控制台，单击“作业管理 > Flink作业”。 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。 配置Flink版本，选择最新的Flink版本，推荐使用Flink 1.15。 Flink 1.15版本语法请参考Flink OpenSource
资源。 在DLI管理控制台，单击“作业管理 > Flink作业”。 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。 配置Flink版本，选择最新的Flink版本，推荐使用Flink 1.15。 公告发布日期：2023年7月6日 父主题： 产品公告
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
