检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 产品介绍 图说DLI 立即使用 成长地图 由浅入深,带您玩转DLI 01 了解 初步认识华为云数据湖探索,了
DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 注意事项 所要删除的表必须是当前数据库下存在的,否则会出错,可以通过添加IF EXISTS来避免出错。
资源所在的区域。 华东-上海二 实例名称 实例名称。 rds-demo 数据库引擎 MySQL MySQL 数据库版本 选用RDS for MySQL数据库时,请根据实际业务需求选择合适的数据库引擎版本。建议您选择当前可用的最高版本数据库,因其性能更稳定,安全性更高,使用更可靠。 8.0 实例类型
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息,其中LIKE子句用来对数据库对象过滤,匹配规则如下,具体示例可参看SHOW TABLES: 规则1:_可以用来匹配单个任意字符。 规则2:%可以用来匹配0个或者任意个任意字符。 规则3:* 可以用来匹配0个或者任意个任意字符。
LakeFormation资源权限支持列表与策略项 LakeFormation SQL资源权限支持列表 DLI支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表
如果作业运行成功则作业状态显示为“已成功”,通过以下操作查看创建的数据库和表。 可以在DLI控制台,左侧导航栏,单击“SQL编辑器”。在“数据库”中已显示创建的数据库“test_sparkapp”。 图14 查看创建的数据库 双击数据库名,可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表
为了避免这种情况,建议在SQL作业执行完成后,等待5分钟后再修改表名。确保系统有足够的时间更新表的元数据,避免因修改表名而导致的数据大小统计不准确的问题。 父主题: DLI数据库和表类
更新表分区信息(只支持OBS表) 功能描述 更新表在元数据库中的分区信息。 语法格式 1 MSCK REPAIR TABLE table_name; 或 ALTER TABLE table_name RECOVER PARTITIONS; 关键字 PARTITIONS:分区。
OpenTSDB结果表 功能描述 OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。
Already too many clients, active/non-active/reserved: 5/508/3 原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中,non-active的个数表示空闲连接数,例如,non-active为508,说明当前有大量的空闲连接。
单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”。 单击“预览”页签,即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 鼠
col_name [ASC | DESC],...]; 关键字 ASC/DESC:ASC为升序,DESC为降序,默认为ASC。 SORT BY:一般与GROUP BY一起使用,为PARTITION进行单列或多列的局部排序。 注意事项 所排序的表必须是已经存在的,否则会出错。 示例 根据
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令,以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例 CREATE SCHEMA web; DESCRIBE SCHEMA web;
create_date>'2221-12-01 00:00:00'; TIMESTAMP类型详细可参考TIMESTAMP数据类型。 父主题: DLI数据库和表类
复杂数据类型 Spark SQL支持复杂数据类型,如表1所示。 表1 复杂数据类型 数据类型 描述 使用格式 ARRAY 一组有序字段,使用指定的值构造ARRAY数组。可以为任意类型,要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见:ARRAY示例。
签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI来说,标签用于标识购买的队列和创建数据库,对购买的DLI队列和数据库进行分类。为队列或数据库添加标签时,该队列或数据库上所有请求产生的计费话单里都会带上这些标签,您可以针对话单报表做分类筛选,进行更详细的成本分析。
s.special_start_time), 'yyyymmdd') = substr('20220601',1,8) 父主题: DLI数据库和表类