检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tion作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为：在任意一个时间段周期内，优先满足所有队列的最小CU数，剩余的CU（弹性资源池最大CU-所有队列的最小CU数之和）则根据配置的优先级顺序分配，直到剩余的CU数分配完成。 队列扩容成功
earch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启） 父主题： Flink作业开发指南
算子存在性能瓶颈，可以尝试优化状态操作的性能。主要可以尝试通过如下方式优化： 增加状态操作内存，降低磁盘IO 增加单slot cu资源数 配置优化参数： taskmanager.memory.managed.fraction=xx state.backend.rocksdb.block
password”参数同时配置。 使用账号密码参数时，创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月资源还未到期。 在购买页面开通自动续费 您可以在购买页面开通自动续费，如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
是从 table schema 中推断出来的，并会用来检索要与数据一起编码的 schema id。我们会在配置的 Confluent Schema Registry 中配置的 subject 下，检索 schema id。subject 通过 avro-confluent.schema-registry
单击“操作”列下的“更多 > 续费”。 选择续费时长，判断是否勾选“统一到期日”，将到期时间统一到各个月的某一天（详细介绍请参见统一包年/包月资源的到期日）。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面，选择支付方式，确认付款，支付订单后即可完成续费。 在费用中心续费 登录管理控制台。
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OB
确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖，否则checkpoint会写不进OBS。 父主题： Flink Jar作业类
'print-identifier' = '', --配置数据前缀 'standard-error' = 'false', --输出数据到taskmanager的out文件中 'sink.parallelism' = '2' --配置并行度 ); insert into printSink
通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。 父主题： Hudi数据表设计规范
选择要操作的弹性资源池，在“操作”列，单击“添加队列”。 在“添加队列”界面，完成队列的基础信息配置。单击“确定”完成添加队列配置。 创建作业。 队列创建完成后，就可以使用弹性资源池中创建的队列进行作业配置。 公告发布日期：2023年11月21日 父主题： 产品公告
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容，此参数默认值为false（注意，此配置项为表属性，请谨慎配置。Hive表不支持此配置项)。 关于分区表的使用说明： 创建分区表时，PARTITIONED BY中指定分区列必须是表中的列，且必须在Col
'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表，查看权限管理，是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题： DLI权限管理类
String 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。 password 否 无 String 数据库认证密码，需要和'username'一起配置。 sink.buffer-flush
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时，清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时： 非分区OBS表配置删除文件后，表目录也会删除。 分区OBS表自定义分区数据也会删除。
STREAMING 不断写入，向Hive添加新数据，以增量方式提交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表，请参阅流式处理接收器。Streaming sink 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
