检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储套餐包 购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。 数据扫描量 按需计费 扫描量计费=单价*扫描量数据(GB) 扫描数据量套餐包 购买了扫描数据量套餐包,按需使用过程中优先抵扣扫描数据量套餐包的规
Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例 create table data_partition(id int, comb int, col0
SELECT 'It''s me.')。字符串文本常量支持 Unicode 字符,如需明确使用 Unicode 编码,请使用以下语法: 使用反斜杠(\)作为转义字符(默认):SELECT U&'\263A' 使用自定义的转义字符: SELECT U&'#263A' UESCAPE '#' 父主题:
SELECT 'It''s me.')。字符串文本常量支持 Unicode 字符,如需明确使用 Unicode 编码,请使用以下语法: 使用反斜杠(\)作为转义字符(默认):SELECT U&'\263A' 使用自定义的转义字符: SELECT U&'#263A' UESCAPE '#' 父主题:
upper-bound必须同时存在或者同时不存在 connector.read.fetch-size 否 每次从数据库拉取数据的行数。默认值为0,表示忽略该提示 示例 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。该驱动为默认,创建表时可以不填该驱动参数。 表
本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。
to_base64url(binary) → varchar 使用URL安全字符,将binary编码为base64字符串表示。 select to_base64url(x'555555'); -- VVVV from_base64url(string) → varbinary 使用URL安全字符,将base64编码的string解码为二进制数据。
数据库时区。 这里它指向 'SYSTEM',也就是数据库服务器的系统时间('system_time_zone')。而这个系统时间在这里指向 CST,所以,最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区,服务器是台主机。 如本地数据库所在计算机的默认时区是中国标准时间,则查出来
SELECT 'It''s me.')。字符串文本常量支持 Unicode 字符,如需明确使用 Unicode 编码,请使用以下语法: 使用反斜杠(\)作为转义字符(默认):SELECT U&'\263A' 使用自定义的转义字符: SELECT U&'#263A' UESCAPE '#' 语法定义
如果需要修改clean默认的参数,需要在执行SQL时,在设置中配置需要保留的commit数量等参数,参见Hudi常见配置参数。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
enterprise_project_id 否 String 企业ID,不填默认为“0”。 tags 否 Array of Objects 队列的标签,使用标签标识云资源。包括“标签键”和“标签值”,具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版,配置该参数值为{"spec":"basic"}。
commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
程语言中的try catch。try函数一般结合COALESCE使用,COALESCE可以将异常的空值转为0或者空,以下情况会被try捕获: 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用,应该明确以上异常,做数据预处理 示例: 假设有以下表,字段origin_zip中包含了一些无效数据:
数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。 basic:表示使用DLI提供的基础Flink镜像。 custom:表示使用用户自定义的Flink镜像。
升级引擎版本后是否对作业有影响: 有影响,需要判断是否使用分区名做业务判断。 eventlog的压缩格式设置为zstd 说明: Spark3.3.x版本中,spark.eventLog.compression.codec的默认值被设置为zstd,Spark在压缩事件日志时将不再支持使用spark.io.compression
当period_interval为0时,表示没有使用窗口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为
如果任一参数为null,则返回null STR_TO_MAP(string1[, string2, string3]]) MAP 使用string2分隔符将string1分割成K-V对,并使用string3分隔每个K-V对,组装成MAP返回 string2默认为',' string3默认为'=' SUBSTR(string[
qdigest([same as x]) 描述:返回由x的所有输入值(使用每项权重w)组成的qdigest。 qdigest_agg(x, w, accuracy) -> qdigest([same as x]) 描述:返回由x的所有输入值(使用每项权重w和最大误差accuracy)组成的qdig
DLI当前支持DLI数据库和Lakeformation数据目录。 在DLI数据目录库下创建数据库和表请参考在DLI控制台创建数据库和表。 创建并使用Lakeformation元数据请参考创建并使用LakeFormation元数据。 数据库 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓
name}为建表时使用的schema,{table_name}为表名。 不允许向托管表(表属性external = true)插入数据。 描述 使用CREATE TABLE创建一个具有指定列的、新的空表。使用CREATE TABLE AS创建带数据的表。 使用可选参数IF NOT