检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
充值成功后,关闭充值窗口,返回管理控制台首页。 单击“对象存储服务”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识
快速入门 准备环境 初始化配置 快速使用
最佳实践 拖拽上传 目录分享 后台运行 定时上传 上传/下载性能优化
任务管理 管理运行队列 管理已暂停队列 管理已完成队列 管理恢复中队列 管理失败队列
相关操作 libfuse安装指导
入门 流程简介 设置用户权限 登录OBS管理控制台 下载OBS Browser 创建访问密钥(AK和SK) 登录客户端 添加桶 上传文件或文件夹 下载文件或文件夹 删除文件或文件夹 删除桶
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
异常处理 挂载并行文件系统失败 取消挂载并行文件系统失败
OBS客户端通用示例 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 调用ObsClient类的相关接口时,没有异常抛出,则表明返回值有效,返回SDK公共响应头子类实例;如果抛出
问题处理 登录OBS Browser时,登录界面无反应 通过OBS Browser同时选中大量文件上传时,上传任务没有创建,界面无任何提示 使用OBS Browser上传文件时,出现蓝屏或黑屏现象 使用OBS Browser管理对象时,在任务列表中无相关任务显示 在ECS中,通过OBS
以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中,也可以在对象存储服务OBS之间进行灵活的数据迁移。 使用对象存储迁移服务,您只需在控制台填写源端OBS数据信息和目的端OBS数据信息,并创建迁移任务
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对O
桶的基本操作 本章介绍对桶的一系列管理操作。 创建桶 搜索桶 查看桶的基本信息 碎片管理 删除桶
操作指南 挂载并行文件系统 取消挂载并行文件系统
OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后,对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表
// 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, config); // 使用访问OBS // 关闭obsClient obsClient.close(); 您的工程中可以有多个ObsClient,也可以只有一个ObsClient。
ct)等OBS服务上的资源。使用OBS PHP SDK向OBS发起请求,您需要初始化一个ObsClient实例,并根据需要修改客户端初始化配置参数。 通过构造函数创建 // 声明命名空间 use Obs\ObsClient; // 创建ObsClient实例 $obsClient
Server,ECS)上通过内网访问OBS,可以避免公网网络质量带来的不利影响,达到优化性能、节省开支的目的。 OBS向您提供了相关最佳实践的配置方法,详情请参见在ECS上通过内网访问OBS。 OBS 2.0和OBS 3.0的判断方法 OBS存在两代架构,分别为OBS 2.0 和OBS 3.0。新创建桶时桶默认会存储到OBS