检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需要在执行SQL时，在设置中配置需要保留的commit数量等参数，参见Hudi常见配置参数。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。
由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DROP TABLE IF EXISTS db0.delta_table0; 系统响应 执行成功，元数据中表将被删除，无法通过show和describe查询该表。 父主题： Delta DDL语法说明
了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。
tion作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction
cache.max-rows 否 无 Integer 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 无 Duration 维表配置，缓存超时时间，超过该时间的数据会被剔除。格式为：{length value}{time
thread-num 来配置线程号。默认值为 3，配置的值应大于 0。 Key Default Type Description table.exec.hive.load-partition-splits.thread-num 3 Integer 配置的值应大于0。 SQL 提示可用于将配置应用于
图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。 父主题： Flink作业性能调优类
path_num 指定目录的子目录数量 file_num 指定目录的文件数量 storage_size 该目录的Size（bytes） storage_size(unit) 该目录的Size（KB） storage_path 指定目录的完整FS绝对路径 space_consumed
运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题： 对接OpenTSDB
的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在作业
完全可以配置为基于时间的方式往桶中写入数据，比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask，每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
Flink作业配置参数 对于Flink Jar作业，您需要在代码中开启Checkpoint，同时如果有自定义的状态需要保存，您还需要实现ListCheckpointed接口，并为每个算子设置唯一ID。然后在作业配置中，勾选“从Checkpoint恢复”，并准确配置Checkpoint路径。
Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托，并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource
如果选择Spark版本为3.3.1时，支持在Spark参数（--conf)配置计算资源规格参数， 且conf的配置优先级高于高级配置指定的值。 参数对应关系请参考表5。 在Spark参数（--conf)配置计算资源规格参数时，可以配置单位 M/G/K，不配置时候默认单位为byte。 表5 控制台计算资源规
U核数。该配置项会替换sc_type中对应的默认参数。 numExecutors Integer Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 obs_bucket String 保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery
完全可以配置为基于时间的方式往桶中写入数据，比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask，每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
大于ID或小于ID的限定条数的作业，默认查询全部状态的作业，也可以设定运行中或其他状态条件。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs 参数说明 表1 URI参数说明 参数名称
资源池管理页面。 选择要操作的弹性资源池，在“操作”列，单击“添加队列”。 在“添加队列”界面，首先需要配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业
insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高
修改主机信息 功能介绍 该API用于在跨源中修改数据源主机信息，仅支持全量覆盖。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
