检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基准测试是由 TPC-D(由 TPC 组织于 1994 年制定的标准,用于决策支持系统方面的测试基准)发展而来的。TPC-H用3NF实现了一个数据仓库,共包含8个基本关系,其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询
元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 创建表时,会定义元数据,由列名、类型、列描述三列组成。 DLI支持创建的表类型 DLI表 DLI表是存储在DLI数据湖中的数据
rt语法将日常作业的查询结果数据存放到RDS表中。 通过DLI跨源连接访问RDS数据请参考《跨源分析开发方式参考》。 与数据仓库服务(DWS)的关系 数据仓库服务(Data Warehouse Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
上下游数据连接 除了开源connector之外,还提供开箱即用的connector,包括数据库(RDS、GaussDB)、消息队列(DMS)、数据仓库(DWS)、对象存储(OBS) 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。 开发与运维 监控、告警
元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 SQL作业 在SQL作业编辑器执行的SQL语句、导入数据和导出数据等操作,在系统中对应的执行实体,称之为SQL作业。 SQL作
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
ROLLUP 功能描述 ROLLUP生成聚合行、超聚合行和总计行。可以实现从右到左递减多级的统计,显示统计某一层次结构的聚合。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
适用场景 SQL作业 适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。 Flink作业 专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。
列只能继承查询权限。“可继承权限”详细信息请参见在DLI控制台配置数据库权限。 回收权限时,只能在初始赋权的层级上回收。在哪一层赋权的,在哪一层进行权限回收。赋予权限和回收权限需要在同一层级操作。例如:在数据库上给用户赋予插入权限,那么在数据库下面的表就有了插入权限,回收这个插入权限,只能在数据库上回收,不能在表上回收。
将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后,网络ACL默认拒绝所有出入子网的流量,直至添加放通规则。通过检查,发现其DWS所在子网关联的ACL是空值。
ark程序依赖了模块moduleA(import moduleA),那么其压缩包要求满足如下结构: 图2 压缩包结构要求 即在压缩包内有一层以模块名命名的文件夹,然后才是对应类的Python文件,通常下载下来的Python库可能不满足这个要求,因此需要重新压缩。同时对压缩包的名称
访问DCS时,不支持复杂类型数据(Array、Struct、Map等)。 可以考虑以下几种方式进行复杂类型数据处理: 字段扁平化处理,将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取,并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7 create
sum sum函数用于计算求和。 命令格式 sum(col), sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。
avg avg函数用于计算求平均值。 命令格式 avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。 Rollup生成的结果集显示了所选列中值的某一层次结构的聚合。 语法格式 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
covar_pop covar_pop函数用于返回两列数值协方差。 命令格式 covar_pop(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。
covar_samp covar_samp函数用于返回两列数值样本协方差。 命令格式 covar_samp(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。
corr corr函数用于返回两列数值的相关系数。 命令格式 corr(col1, col2) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col1 是 DOUBLE、BIGINT、INT、SMALLINT、TINYINT、FLOAT、DECIMAL类型 数据类型为数值的列。其他类型返回NULL。