检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
<Size>size</Size> <ObjectNumber>number</ObjectNumber> <StandardSize>standardsize</StandardSize> <StandardObjectNumber>standardnumber</StandardObjectNumber>
操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。 约束与限制 obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。 本地挂载目录可以不为空,但
CPU 最低配置:双核1.6GHz CPU 标准配置:双核2.4GHz CPU 暂不支持ARM架构芯片。 内存 最低配置:4GB 内存 标准配置:8GB 内存 可用内存:≥512MB - 安装盘可用空间 ≥512MB 安装OBS Browser+所需的硬盘空间。 数据盘可用空间
单链接限速(Go SDK) 功能说明 客户端访问OBS对象时占用大量带宽,会影响其他应用的正常使用,可以通过使用单链接限速功能解决该问题。 目前仅支持GetObject方法。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义
删除桶 如果您不再需要一个桶,可以在OBS管理控制台上将其删除,以免占用桶数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
删除桶 如果您不再需要一个桶,可以在OBS管理控制台上将其删除,以免占用桶数量配额。 前提条件 删除桶之前必须确保桶内的对象已全部删除。 只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问? 一般情况下,只有执行挂载命令的用户有访问挂载目录的权限。
Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域
官方文档。 使用AnyBackup Cloud备份方案 爱数AnyBackup Cloud结合华为云基础服务,将本地数据备份或迁移到云,提供安全、经济、易管理的数据保护解决方案。 购买方式: 进入华为云市场,搜索AnyBackup Cloud,根据场景选择适合自己业务的备份方案。
获取桶存量信息(Harmony SDK) 功能介绍 调用获取桶存量信息接口,可查询指定桶内的对象个数,以及对象占用空间的大小。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 接口约束 您必须是桶拥有者或拥有获取桶存量信息的权限,才
获取桶存量信息(Go SDK) 功能介绍 调用获取桶存量信息接口,可查询指定桶内的对象个数,以及对象占用空间的大小。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 接口约束 您必须是桶拥有者或拥有获取桶存量信息的权限,才能获取桶存
参数解释: 临时数据缓存目录。 s3fs在进行读写时,默认会使用一部分本地目录空间作为临时数据缓存用来提高性能。 建议选择磁盘目录,而不是共享内存目录。 说明: 可使用df -h 命令来查询目录类型及容量使用情况。 示例: [root@huawei-esc ~]# df -h /tmp
删除桶(Harmony SDK) 功能说明 桶为空时,用户可以删除桶,以免占用桶数量配额。删除桶后需要等待30分钟才能创建同名桶。 华为云无法恢复用户主动删除的OBS数据。因此调用接口删除桶后,桶相关数据无法恢复,请谨慎操作。 接口约束 您必须是桶拥有者或拥有删除桶的权限,才能删
port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory:查询能用到的最大总内存。 query.max-memory-per-node:查询能用到的最大单节点内存。 discovery-server.enabled:Presto使用Discovery服务去找到
six-bucket/data/sample CDM方式迁移 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移
defaultJobsCacheCount 可选 批量任务队列的缓存大小,表示最大可以缓存的任务个数,默认为1000000。 说明: 缓存的任务个数越多,占用的内存资源越大,建议根据实际使用情况调整此参数值。 默认 rateLimitThreshold 可选 上传/下载命令的流控阈值,单位:字节/秒
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的
为期一年,超出部分按需计费。未用完的资源包用量下个月会被重置。 非按月更新额度:以标准存储包为例,如您购买10TB标准存储包一年,则一年内存储数据容量在10TB以内的部分,可以使用该存储包抵扣,超出部分按需计费。 父主题: 计费相关