检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
桶中不完整的数据称之为碎片。OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 以下步骤以控制台手动删除碎片为例。通过其他方式删除碎片的方法,请参见清理碎片。
OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择桶所属区域,特性发布区域请参见功能总览。 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的
OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择桶所属区域,特性发布区域请参见功能总览。 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的
ps*1.5) 同时针对批量上传/下载任务,还可以通过调整defaultJobs(-j)最大并发任务数参数进行调优。 对于待上传/下载对象主要为小文件(通常在几M以内的文件),且文件个数较多的场景,由于文件本身较小,此时修改defaultParallels (-p)和defaul
OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择桶所属区域,特性发布区域请参见功能总览。 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的
OBS大部分特性在所有区域发布,某些特性仅在部分区域发布。建议根据特性的发布区域选择桶所属区域,特性发布区域请参见功能总览。 如果希望ECS通过内网访问OBS桶,需要确保桶和ECS属于同一个区域,详情请参见在ECS上通过内网访问OBS。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的
默认的FTP SERVER地址为127.0.0.1,端口号为10020。 服务端是云主机,客户端在本地主机,则FTP SERVER地址设置为云主机的弹性IP(EIP)。 obsftp部署在云主机,客户端在本地时候,启动obsftp需要设置listen address。命令如下:
默认的FTP SERVER地址为127.0.0.1,端口号为10020。 服务端是云主机,客户端在本地主机,则FTP SERVER地址设置为云主机的弹性IP(EIP)。 obsftp部署在云主机,客户端在本地时候,启动obsftp需要设置listen address。命令如下:
只有当源对象在此参数指定的时间之后没有修改过才进行复制对象操作,否则返回412(前置条件不满足)。 约束限制: 此参数指定的时间不能晚于当前的服务器时间(GMT时间),否则参数不生效。 此参数可与x-obs-copy-source-if-match一起使用,但不能与其它条件复制参数一起使用
AccessKeyId=xxx&Expires=xxx&x-obs-security-token=xxx&Signature=xxx 临时鉴权信息主要包含AccessKeyId、Expires、x-obs-security-token和Signature四个参数。其中AccessKeyI
obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。当防火墙或者使用的虚拟机安全组限制了obsftp选择的端口时,使用obsftp时就会出现上传/下载数据失败的现象。 解决办法 针对端口占用原因导致的上传/下载数据失败,可以通过以下两种方式解决:
将指定并行文件系统内的一个对象重命名为其他对象名。 回调 用户可以在上传对象请求中设置回调参数,OBS在对象上传成功之后,将上传结果回调特定服务器,并将回调结果返回给用户。 设置对象标签 设置一个指定对象的标签信息 获取对象标签 获取一个指定对象的标签信息 删除对象标签 删除一个指定对象的标签信息
生panic异常,默认为false。 N/A autoChooseSecurityProvider 可选 是否依次从配置文件、环境变量、ecs接口获取访问密钥自动获取访问密钥,默认为false。 说明: 该参数的更多细节请参考为obsutil配置自动获取访问密钥。 N/A fastFailThreshold
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS
CORS的典型应用场景包括: 通过CORS支持,使用JavaScript和HTML5来构建Web应用,直接访问OBS中的资源,而不再需要代理服务器做中转。 使用HTML5中的拖拽功能,直接向OBS上传文件,展示上传进度,或是直接从Web应用中更新内容。 托管在不同域中的外部网页、样式
列举已上传段 可以 可以 可以 不可以 不可以 可以 取消多段上传任务 可以 不可以 可以 不可以 不可以 可以 IAM权限应用场景 IAM权限主要面向对同账号下IAM用户授权的场景: 使用策略控制账号下整个云资源的权限时,使用IAM权限授权。 使用策略控制账号下OBS所有的桶和对象的权限时,使用IAM权限授权。
权限管理 OBS资源权限管理 OBS桶和对象的权限可以通过IAM用户权限、桶策略和ACL共同控制,本章节介绍使用IAM进行权限管理。 更多关于OBS资源权限管理的内容请参见权限管理。 如果您需要对购买的OBS资源,为企业中的员工设置不同的用户访问权限,以达到不同员工之间的权限隔离
如果对象在请求中指定的时间之后有修改,则返回对象内容;否则的话返回304(not modified)。 约束限制: 此参数指定的时间不能晚于当前的服务器时间(GMT时间),否则参数不生效。 取值范围: 符合http://www.ietf.org/rfc/rfc2616.txt规定格式的HTTP时间字符串。
x-obs-copy-source-if-unmodified-since: Sun Nov 6 08:49:37 1994 约束条件:此参数指定的时间不能晚于当前的服务器时间(GMT时间),否则参数不生效。 否 x-obs-copy-source-if-modified-since 只有当源对象在此参数指定