检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表的INSERT_INTO_TABLE权限 细粒度权限:dli:table:insertIntoTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 insert into delta_table0 values(1, 'a1', 20); insert
OPTIMIZE所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 OPTIMIZE delta_table0; optimize delta_table0 where
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME COLUMN addr to address
志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如:log4j等) 在此基础上,taskmanager
依据的DLI分区表。在OPTIONS中配置pmultiLevelDirEnable和compression。 multiLevelDirEnable:本例设置为true,表示查询该表时会迭代读取表路径中的所有文件和子目录文件,若不需要此项配置可以设置为false或不设置(默认为false);
enabled 否 true Boolean Flink默认采用的是内存索引(使用Bueckt索引时不配置该项),需要将数据的主键缓存到内存中,保证目标表的数据唯一,因此需要配置该值,否则会导致数据重复,默认值:true。 write.index_bootstrap.tasks 否
比,能够对TB级数据实现秒级响应,极大提升了数据查询的效率。 Serverless资源开箱即用: Serverless服务模式无需关注底层配置、软件更新和故障问题,资源易维护,易扩展。 多种资源类型满足不同场景业务需求: 共享资源池:按量计费,提供极致的性价比资源。 独享资源池:提供独享资源池,满足高性能资源需求。
RESTORE所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18
DLI为BI工具提供了便捷的连接方法: DBeaver、DBT和YongHong BI,可以直接通过DLI提供的驱动连接到DLI。这简化了配置过程,使得用户能够直接利用这些工具的强大功能。 PowerBI、Fine BI、SuperSet、Tableau和Beeline,它们可以
缓存到Slot内存中,然后通过键将流中的每条记录与表进行关联,以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后,将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache
参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path 是 String Savepoint路径。 配置示例:obs://bucket-name/dir 响应参数 状态码: 200 表3 响应Body参数 参数名称 参数类型 说明 is_success
database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL
database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL
database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件,则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
弹性资源池名称。 description 否 String 弹性资源池描述信息。 max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。 actual_cu 否 Integer 当前实际的CU数。 cidr_in_vpc 否 String
单击“标签”页签,显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 图2 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办? DLI增强型跨源连接DWS失败怎么办? 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? 为什么DLI增强型跨源连接要创建对等连接? DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连接
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price