检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示在计数时是否去除重复记录,默认为all,即计算全部记录。 如果指定distinct,则只计算唯一值数量。 colname 是 列值可以为任意类型。 colname可以为*,即count(*),返回所有行数。 返回值说明 返回BIGINT类型。 colname值为NULL时,该行不参与计算。 示例代码 计算所有仓库表中的记录数。命令示例如下:
L情况下,默认值为0。 STRING 字符串类型。 FLOAT 单精度浮点型,存储空间为4字节,在NULL情况下,采用计算值默认值为0。 由于浮点类型的数据在计算机中的存储方式的限制,在比较两个浮点类型的数据是否相等时,因存在精度问题,不能直接采用“a==b”的方式进行比较,建议
怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。
限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。
限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。
步骤3:测试使用DBT提交作业至DLI 初始化DBT项目 在空目录下执行以下命令以初始化DBT项目: dbt init 配置dbt_project.yml文件 在项目根目录下创建或编辑 dbt_project.yml文件。 参考dbt_project.yml配置项目。 确保步骤2:配置DBT连接DL
句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力,基于用户可理解的SQL防御策略,实现对典型大SQL、低质量SQL的主动防御,包
返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下: col值为NULL时,该行不参与计算。 col为BOOLEAN类型时,不允许参与运算。 示例代码 计算所有商品的最高库存(items)。命令示例如下: select max(items) from warehouse;
length length函数用于返回字符串的长度。 相似函数:lengthb,lengthb函数用于计算字符串str以字节为单位的长度,返回STRING类型的值。 命令格式 length(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str
返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下: col值为NULL时,该行不参与计算。 col为BOOLEAN类型时,不允许参与运算。 示例代码 计算所有商品的最低库存(items)。命令示例如下: select min(items) from warehouse;
loomfiter机制,将布隆索引内容写入到Parquet文件的footer中。 Bucket索引:在写入数据过程中,通过主键进行Hash计算,将数据进行分桶写入;该索引写入速度最快,但是需要合理配置分桶数目;Flink、Spark均支持该索引写入。 状态索引:Flink引擎独有
278014413, /spark.db/sink_parquent_obs/compacted-part-fd4d4cc8-8b18-42d5-b522-9b524500fa23-0-0] 父主题: 对象存储OBS
它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对Flink作业添加标签。如果想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识,用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
/v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称
0/{project_id}/streaming/sql-jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建SQL作业中获取。
对象存储OBS结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以
Core/DataSet/MLlib/GraphX等Spark全栈作业。 CU CU是DLI计算资源的单位。 1CU= 1Core 4GMem。不同规格的计算资源对应的计算能力不一样,规格越高计算能力越好。 常量与变量 环境变量中,常量与变量的区别如下: 常量在程序运行过程中,所表示的值是无法被改变的。
sin sin函数用于计算a的正弦值,输入为弧度。 命令格式 sin(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非
tan tan函数用于计算a的正切值,输入为弧度。 命令格式 tan(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非