检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。
默认取值: 无 x-obs-storage-class String 参数解释: 对象的存储类型。 约束限制: 仅当对象为非标准存储类型时,会返回此头域。
初始化数据盘 场景及磁盘分区形式介绍 使用脚本初始化Windows数据盘 使用脚本初始化Linux数据盘 初始化Windows数据盘(Windows 2008) 初始化Windows数据盘(Windows 2019) 初始化Linux数据盘(fdisk) 初始化Linux数据盘(parted
文件:待标注数据文件,只支持.CSV格式的文件。若数据源为OBS数据源,请从对应OBS桶中选择文件; 若数据源为本地数据,请从本地路径选择文件。 分隔符:选择分隔符。 数据输出:选择已标注的结果文件或者输入本次标注结果文件存储路径。 标签组:选择已有标签组或者新增标签组。
数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。
初始化数据盘 初始化概述 初始化Linux数据盘(容量小于等于2TiB) 初始化Linux数据盘(容量大于2TiB) 初始化windows数据盘
数据冗余存储 CBR支持创建多AZ存储库,将备份数据存储到同区域的多个AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的场景。 说明: CBR是基于OBS的数据冗余方式来实现备份的数据冗余存储,详情参见OBS数据冗余存储方式。
数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。
数据集成 数据集成普通任务 数据集成组合任务
更多 参数指标类 用户平时需要关注实例的哪些监控指标 如何修改时区 RDS实例内存使用率指标的计算方法 哪些参数设置不合理会导致数据库不可用(RDS for PostgreSQL) 更多 存储类 RDS存储的存储配置是什么 数据超过了RDS实例的最大存储容量怎么办 占用RDS磁盘空间的日志及文件有哪些
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
数据库迁移 RDS支持导入哪些数据库引擎的数据 为什么要采用mysqldump和pg_dump工具迁移 RDS for MySQL实例迁移中,大量binlog文件导致数据盘空间不足 使用mysqldump导出大表的注意事项 mysqldump的6大使用场景的导出命令
如何保证数据高可靠 云数据库 GeminiDB的数据全部存储在底层DFV分布式存储之上,为三副本,在单副本故障时: 当存储节点故障,分布式存储状态机制保证故障路由,分发到正常节点。 路由到故障分片(节点正常,其中某一分片故障),上层业务上报故障分片并重新路由到正常节点。
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来?