检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以在DLI中创建并管理多个Catalog,用于不同的元数据隔离。 · 数据库:数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据,由多个数据表组成,这些数据表通过键和索引相互关联。
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。
开启数据库代理 功能介绍 为指定实例开启数据库代理。 该接口计划于2024-04-30下线。 调用接口前,您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 接口约束 如果您需要使用该功能,请联系客服提交开启数据库代理权限的申请。
初始化数据盘 初始化概述 初始化Linux数据盘(容量小于等于2TiB) 初始化Linux数据盘(容量大于2TiB) 初始化windows数据盘
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。
并提供按月或按年预先支付OBS热数据存储费用的折扣套餐,适合计划长期使用DWS 3.0场景的客户。
文件:待标注数据文件,只支持.CSV格式的文件。若数据源为OBS数据源,请从对应OBS桶中选择文件; 若数据源为本地数据,请从本地路径选择文件。 分隔符:选择分隔符。 数据输出:选择已标注的结果文件或者输入本次标注结果文件存储路径。 标签组:选择已有标签组或者新增标签组。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。
数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
默认取值: 无 x-obs-storage-class String 参数解释: 对象的存储类型。 约束限制: 仅当对象为非标准存储类型时,会返回此头域。
初始化数据盘 场景及磁盘分区形式介绍 使用脚本初始化Windows数据盘 使用脚本初始化Linux数据盘 初始化Windows数据盘(Windows 2008) 初始化Windows数据盘(Windows 2019) 初始化Linux数据盘(fdisk) 初始化Linux数据盘(parted
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
数据冗余存储 CBR支持创建多AZ存储库,将备份数据存储到同区域的多个AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的场景。 说明: CBR是基于OBS的数据冗余方式来实现备份的数据冗余存储,详情参见OBS数据冗余存储方式。
数据库迁移 RDS支持导入哪些数据库引擎的数据 为什么要采用mysqldump和pg_dump工具迁移 RDS for MySQL实例迁移中,大量binlog文件导致数据盘空间不足 使用mysqldump导出大表的注意事项 mysqldump的6大使用场景的导出命令
数据集成 数据集成普通任务 数据集成组合任务