检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键,HBase连接器默认取rowkey作为主键。详情可参考HBase
table_name 需要删除的Table名称。 所需权限 SQL权限 表2 DROP TABLE所需权限列表 权限描述 表所在数据库的DROP_TABLE权限 细粒度权限:dli:table:dropTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
为什么Spark3.x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。 通常在Spark作业执
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(location)、是不是外表(external)等。 示例 用指定列的查询结果创建新
X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 2024年5月起,新用户可以直接使用DLI服务的“查询结果写入桶”功能,无需开通白名单。 对于2024年5月之前开通并使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。
返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用string3代替string1中的string2后的字符串,并返回替换后的string1字符串
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项
escapeChar]] 描述 该语法中DATABASES和SCHEMAS在概念上是等价的,是可互换的,该语法用于例举所有metastore中定义的schemas。可选子句LIKE可以使用规则运算来过滤结果,它支持的通配符为“*”(匹配任意字符)和“|”(匹配可选项)。 示例 列出当前catalog所有的schemas:
返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用string3代替string1中的string2后的字符串,并返回替换后的string1字符串
在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作。可以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定time
CUBE ( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: DQL 语法
本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云API参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。
其中USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 spark.hadoop.fs.obs
系统提示信息,执行成功时,信息可能为空。 task_id 是 Integer 请求id。 请求示例 测试队列与该地址“iam.xxx.com:443”的连通性。 { "address": "iam.xxx.com:443" } 响应示例 { "is_success": true
BY的所有字段分组,所有字段都相同的记录将被放在同一组中,同样,GROUP BY中出现的字段必须在attr_expr_list的字段内,attr_expr_list也可以使用聚合函数。 注意事项 所要分组的表必须是已经存在的表,否则会出错。 示例 根据score及name两个字段对表student进行分组,并返回分组结果。
Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号
OUTER JOIN返回符合查询条件的行的同时也返回不符合的行,分为以下三类: 左外连接:LEFT JOIN或LEFT OUTER JOIN,表示以左表(nation)为基础返回左表所有的行及右表(region)中相匹配行的数据,若右表中没有匹配,则该行对应的右表的值为空。 右外连接:RIGHT
创建目标表 查询源表数据,发现导致问题产生的记录ctr值为1675,整数位(4位)超出所定义的decimal精度(9 – 6 = 3位),导致double转decimal时overflow产生null值,而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。