检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式。 使用正确的XML格式重试。 400 Bad Request MalformedError 请求中携带的XML格式不正确。 使用正确的XML格式重试。 400 Bad Request MalformedLoggingStatus Logging的XML格式不正确。 使用正确的XML格式重试。
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
打开华为云网站www.huaweicloud.com。 单击页面右上角的“控制台”,使用注册账号登录管理控制台。 在顶部导航栏选择“服务列表 > 管理与监管 > 统一身份认证服务IAM”,进入“统一身份认证服务”管理控制台。 创建用户组。 详细步骤请参见创建用户组,创建成功后,在“用户组权限”中选择“全局服务
new ObsClient ( [ //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud
和终端节点信息请参见地区和终端节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。
以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用OBS的基础功能
传对象的请求,将使用桶的默认加密配置进行加密。有关桶的加密配置的更多信息请参考设置桶的加密配置章节。 表1 SSE-OBS方式使用的头域 名称 描述 x-obs-server-side-encryption 使用该头域表示服务端加密是SSE-OBS方式。对象使用SSE-OBS方式加密。
使用账号登录时,界面提示“获取用户的Token失败” 在使用OBS Browser+过程中,如果使用账号登录时提示“获取用户的Token失败”,原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows
细介绍了每个接口的参数和使用方法。 基于表单上传是使用HTML表单形式上传对象到指定桶中,对象最大不能超过5GB。 您可以通过ObsClient->createPostSignature生成基于表单上传的请求参数。您也可以通过如下步骤进行表单上传: 使用ObsClient->cr
安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud:下载地址。(建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本,例如hadoop-huaweicloud-2.8.3-hw-53
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令,将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
)和中划线(-)开头或结尾。 禁止使用IP地址。 当使用HTTPS协议访问OBS系统时,由于SSL的通配符证书仅匹配不包含"."的桶。这将导致桶名包含"."的桶在访问OBS系统时,客户端会提示证书校验存在风险,比如浏览器安全提示会呈现红色告警。因此如非必要,请尽量不要在桶名中包含"."。 使用方式 OB
)和中划线(-)开头或结尾。 禁止使用IP地址。 当使用HTTPS协议访问OBS系统时,由于SSL的通配符证书仅匹配不包含"."的桶。这将导致桶名包含"."的桶在访问OBS系统时,客户端会提示证书校验存在风险,比如浏览器安全提示会呈现红色告警。因此如非必要,请尽量不要在桶名中包含"."。 使用方式 OB
)和中划线(-)开头或结尾。 禁止使用IP地址。 当使用HTTPS协议访问OBS系统时,由于SSL的通配符证书仅匹配不包含"."的桶。这将导致桶名包含"."的桶在访问OBS系统时,客户端会提示证书校验存在风险,比如浏览器安全提示会呈现红色告警。因此如非必要,请尽量不要在桶名中包含"."。 使用方式 OB
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
yption头域且赋值为“kms”,即选择kms加密方式时,才能使用该头域指定加密密钥。 默认取值: 当您选择使用kms加密方式,但未设置此头域时,默认的主密钥将会被使用。如果默认主密钥不存在,系统将默认创建并使用。 支持头域的接口 以下接口支持配置SSE-KMS相关头域: PUT上传对象
Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题