检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS B
提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 存储数据的逻辑 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。
下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 碎片管理功能可以清除由于对象上传失败而产生的垃圾数据。
购买OBS 对象存储服务 OBS 通过OBS控制台上传下载文件 02:42 通过OBS控制台上传下载文件 对象存储服务 OBS 通过OBS Browser+上传下载文件 03:53 通过OBS Browser+上传下载文件 对象存储服务 OBS OBS API快速入门 09:23
1GB的归档存储文件,归档文件恢复方式为“标准取回”,恢复有效期为10天。 计费构成分析 在ECS上可以通过公网和华为云内网两种网络访问OBS,内网访问需要云服务器与OBS桶放在一个区域。因此华北-北京四的服务器访问华北-北京四的OBS桶,属于内网访问,华东-上海一的服务器访问华北-北
分段上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段下载任务会产生唯一对应的断点记录文件并保存至该文件夹的down子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执
象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。 为帮助企业高效上云,华为云Solution as Code萃取丰富上云成功实践,提供一系列基于华为云可快速部署的解决方案,帮助用户降低上云门槛。同时开放完整源码,支持个性化配置,解决方案开箱即用,所见即所得。
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 access_key_id
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
failed 必选 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 说明: 当前不支持递归地对指定文件夹下的所有文件进行扫描,仅支持列举指定路径根目录下的失败结果清单文件。 limit 附加参数,可选 查询文件的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。
置为系统内置命令,这样在任意目录下都可以运行命令,您可以参考将obsutil设为系统内置命令。 更多操作 如果您需要在华为云的弹性云服务器(ECS)上使用obsutil,您可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。
如何解决DNS解析失败 该问题属于网络问题,需要借助日志详情文件帮助定位。打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板"
truncateObject(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 创建并行文件系统过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 创建并行文件系统常见问题请参见并行文件系统常见问题。 父主题: 并行文件系统相关接口(Harmony SDK)
ObjectKey = "objectname", FilePath = "localfile",// 上传的本地文件路径,需要指定到具体的文件名 }; // 以传输字节数为基准反馈上传进度 request.ProgressType = ProgressTypeEnum
操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil能在执行批量处理、自动化任务场景能为您带来更优体验。 obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如表1所
设置分段号,范围是1~10000, request.setPartNumber(1); // 设置将要上传的大文件,其中localfile为待上传的本地文件路径,需要指定到具体的文件名 request.setFile(new File("localfile")); // 设置分段大小