检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
Hudi存储结构 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境，Hudi表的数据文件存储在OBS上，因此可以通过查看OBS文件检查。 如下，展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie
当前优先级支持的范围为：1到100。 时间段 时间段设置仅支持整点，左侧为开始时间，右侧为结束时间。请注意以下说明： 时间区间包括开始时间，不包括结束时间即[开始时间, 结束时间)。 例如当前选择的时间段范围为：01--17，则表示当前扩缩容规则生效时间范围为[01,17)。 同
前提条件 该场景需要与ClickHouse建立增强型跨源连接，并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 建立增强型跨源连接，请参考《数据湖探索用户指南》中的“增强型跨源连接”章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项
项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 队列名称。 task_id 是 String 任务ID。该参数为创建指定地址连通性测试请求接口获取。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success
用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数： connector.properties.flink.partition-discovery
工作，执行效率要高于INSERT＋UPDATE。 注意事项 分区表合并需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled为false。 命令格式 MERGE INTO [database_name.]table_name
024 分区表桶数 = 单分区数据量大小(G)/2G，再后向上取整，最小设置1个桶 需要使用的是表的总数据大小，而不是压缩以后的文件大小 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 父主题： Bucket调优示例
SparkDataSource（option里设置如下参数，写数据时触发） hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10，根据业务场景指定 Flink（with属性里设置如下参数，写数据时触发） clean
添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 父主题： Spark作业开发类
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 请求示例 修改数据库的owner为scuser1。 { "new_owner": "scuser1" } 响应示例 { "is_success": true,
String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符，多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划（废弃）。
否 3 Integer 写数据失败时的最大尝试次数，默认值为：3。 示例 从Kafka中读取数据，并将数据插入到数据库为flink、表名为order的ClickHouse数据库中，其具体步骤如下（clickhouse版本为MRS的21.3.4.25）： 参考增强型跨源连接，在DL
是 String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为：IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执
表2 query参数 参数名称 是否必选 参数类型 说明 async 否 Boolean 是否异步方式删除数据库，取值为“true”或者“false”。默认值为：false。 带入query参数的URL示例如下： DELETE /v1.0/{project_id}/databas
String 指定要使用的格式，这里应该是 'orc'。 Orc 格式也支持来源于 Table properties 的表属性。 举个例子，您可以设置 orc.compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了
选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表创建的表名，即为“tabletest”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
"state":"Success"} 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： Spark作业相关API
适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建后自定义权限，但委托名称固定为dli_data_clean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围： OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
