检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable;
database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL
是否强制重启,“action”为“restart”时可选择配置,默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。 响应消息 表3 响应参数
修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSourc
默认参数 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。 standard-error 否 false Boolean 该值只能为true或false,默认为false。
如果需要可以定义转义字符。尚不支持转义字符。 string1 NOT LIKE string2 [ ESCAPE char ] BOOLEAN 如果 string1 与 string2 不匹配返回 TRUE; 如果 string1 或 string2 为 NULL 返回 UNKNOWN。 如果需要可以定义转义字符。尚不支持转义字符。
注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。 1 2 SELECT student_info
DLI跨源表执行insert操作时,会将DWS源表删除重建,客户没有对应更新DLI端跨源表建表语句,导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表,并添加建表配置项 truncate = true(只清空表数据,不删除表)。 建议与总结 在更新跨源目的端源表后,必须同时更新对应DLI跨源表。 父主题:
量和分组持续的时间,持续时间较短的 group 窗口不会产生状态过大的问题。可以提供一个合适的状态 time-to-live (TTL) 配置来防止状态过大。注意:这可能会影响查询结果的正确性。 更多介绍和使用请参考开源社区文档:分组聚合。 DISTINCT 聚合 DISTINCT
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考:Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤: 步骤1:获取消费数据。获取账户的实际消费数据。 步骤2:分析账户消费结构并优化。在DLI上分析账户消费结构
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题: SQL作业运维类
DELETE所需权限列表 权限描述 表的DELETE权限 细粒度权限:dli:table:delete。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 delete from delta_table0 where column1 = 'value1';
要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义: 执行引擎:负责执行队列中任务的引擎类型。 默认版本:执行引擎的默认配置版本,或者是在没有指定特定版本时系统将使用的版本。 支持版本:执行引擎支持的所有版本列表。通过查看队列的支持版本,您可以了解哪些版本的执行引擎可以用于处理队列中的任务。
参数类型 说明 data_path 是 String 导出数据的储存路径(当前仅支持将数据存储在OBS上)。另外,“export_mode”配置为“errorifexists”时,该路径下的文件夹须不存在,如请求样例中的“test”文件夹。 data_type 是 String 导
控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。 资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除:当前用户可删除此弹性资源池。 规格变更:当前用户对于包年包月的弹性资源池可以执行规格变更操作。 赋权:当前用户可将弹性资源池的操作权限赋予其他用户。
schema-include 否 false Boolean 设置 Debezium Kafka Connect 时,用户可以启用 Kafka 配置 'value.converter.schemas.enable' 以在消息中包含 schema。此选项表明 Debezium JSON 消息是否包含
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A