检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表的名称 tablelocation Hudi表的存储路径 示例 run clean on h1; run clean on "obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需
ARCHIVELOG 命令功能 用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG
OPTIMIZE 命令功能 OPTIMIZE命令用于优化数据在存储中的布局,提高查询速度。 注意事项 由于Optimize是一项耗时的活动,因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.force
Studio ”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>
查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表: call show_active_instant_list(table => '[table_name]'); 查看某个表某个时间戳后的生效的time
创建弹性资源池的账号。 elastic_resource_pool_name 否 String 弹性资源池名称。 description 否 String 弹性资源池描述信息。 max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。
具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格,不能以_sys_开头。 标签值 您可以选择: 在输入框的下拉列表中选择预定义标签值。
DROP TABLE 命令功能 DROP TABLE的功能是用来删除已存在的Table。 命令格式 DROP TABLE [IF EXISTS] [db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database
上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Ma
(不使用Catalog的场景): 这里的sink表通过创建临时表指向Hudi表路径来写入数据,同时在表参数中配置hive_sync相关参数,实时同步元数据至由DLI提供的元数据服务。(具体参数详见Flink参数一节) 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。
描述:该函数返回类型为bigint,它提供了count(distinct x)的近似计数。如果所有输入都是null值,则返回0。 此函数所有可能的值相对于正确的值的误差服从近似正态分布,其标准差应小于e。它不保证任何特定输入集的误差的上限。 当前该函数的实现中,e的取值范围为[0.0040625,0.26000]。
终止作业:终止提交到此队列的作业。 赋权:当前用户可将队列的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该队列的权限。 重启队列权限:重启此队列的权限。 规格变更:修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。
hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为: DLI.0999: RuntimeException: org.apache.hadoop.fs.obs
COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name'); 如果您的表不在所需的协议版本上,需要先执行如下语句才能修改成功:
表就地转换为 Delta 表。 此命令会列出目录中的所有文件,创建 Delta Lake 事务日志来跟踪这些文件,并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息,以提升转换后的 Delta 表的查询性能。 如果提供表名,则元存储也将更新,以反映该表现在是
图1描述了按需计费的DLI资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图1 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账
1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm
instant-time]; 参数描述 表1 COMPACTION参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 tablelocation Hudi表的存储路径 instant-time 执行show compaction命令可以看到instant-time 示例
获取项目ID 操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https:
TABLE等语句)、管理分区语句、失败的查询语句无需付费。 取消的查询,按取消查询时扫描的总数据量计费。 若计算任务超时或失败,则当次计算不收取费用。 数据的存储方式(包括格式,是否压缩)对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4,则数据扫描费用为原CSV文件扫描费用的1/4。