检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark2.4.x：配置名为spark.launcher.childConectionTimeout Spark3.3.x：配置名修改为spark.launcher.childConnectionTimeout 升级引擎版本后是否对作业有影响： 有影响，配置参数名称变化。 Spark3
文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在
登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
DELETE所需权限列表 权限描述 表的DELETE权限 细粒度权限：dli:table:delete。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 delete from delta_table0 where column1 = 'value1';
要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义： 执行引擎：负责执行队列中任务的引擎类型。 默认版本：执行引擎的默认配置版本，或者是在没有指定特定版本时系统将使用的版本。 支持版本：执行引擎支持的所有版本列表。通过查看队列的支持版本，您可以了解哪些版本的执行引擎可以用于处理队列中的任务。
队列的标签，使用标签标识云资源。包括“标签键”和“标签值”，具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版，配置该参数值为{"spec":"basic"}。 不配置该参数时默认为标准版弹性资源池。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
Payload及EmptyHoodieRecordPayload。 useCache 是否在Spark中缓存表的relation，无需用户配置。为支持SparkSQL中对COW表增量视图查询，默认将COW表中该值置为false。 示例 创建非分区表 create table if
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 其他修改 ALTER TABLE table1 ALTER COLUMN col_a DROP
enabled 否 true Boolean Flink默认采用的是内存索引（使用Bueckt索引时不配置该项），需要将数据的主键缓存到内存中，保证目标表的数据唯一，因此需要配置该值，否则会导致数据重复，默认值：true。 write.index_bootstrap.tasks 否
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
OPTIMIZE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 OPTIMIZE delta_table0; optimize delta_table0 where
比，能够对TB级数据实现秒级响应，极大提升了数据查询的效率。 Serverless资源开箱即用： Serverless服务模式无需关注底层配置、软件更新和故障问题，资源易维护，易扩展。 多种资源类型满足不同场景业务需求： 共享资源池：按量计费，提供极致的性价比资源。 独享资源池：提供独享资源池，满足高性能资源需求。
UPDATE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 update delta_table0 set price = price + 20 where
缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache
ClickHouse > 服务配置”，角色选择“ClickHouseBalancer”。当MRS集群未开启Kerberos认证时，搜索“lb_http_port”配置参数值，默认值为21425；当开启Kerberos认证时，搜索“lb_https_port”配置参数值，默认值为21426。
弹性资源池名称。 description 否 String 弹性资源池描述信息。 max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。 actual_cu 否 Integer 当前实际的CU数。 cidr_in_vpc 否 String
单击“标签”页签，显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 图2 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签，用户需要预先在
表的INSERT_INTO_TABLE权限 细粒度权限：dli:table:insertIntoTable LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 insert into delta_table0 values(1, 'a1', 20); insert
RESTORE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
