检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所有桶)无法通过OBS权限进行配置,只能在IAM权限中配置,OBS权限只能作用于资源级(桶和对象)。如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。 图2 OBS权限与IAM权限的关系 OBS权限控制要素 OBS的权限控制模型中,以下几个要素共同决定了授权的结果:
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
<endpoint>/<object-name>)对服务进行访问。若未对服务授权,则无法直接获取到用户数据,需要用户开启公共读授权或者提供一个临时授权的URL。 对服务授权 如果您需要使用OBS中的数据,请开通对象存储服务OBS授权。登录管理控制台,进入“服务管理”页面。打开对象存储服务OBS授权的按钮,完成授权
印的功能,您可以参考本章节对云上文件(文件存储在OBS桶)或者本地图片增加自定义水印内容。 前提条件 已完成OBS资产委托授权,参考云资产委托授权/停止授权进行操作。 已开通且已使用过OBS服务,开通OBS服务请参见开通并使用OBS。 支持的图片格式为:*.jpg, *.jpeg
以Windows操作系统为例,运行obsutil cp d:\temp\test.txt obs://bucket-test/key,将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。 obsutil cp d:\temp\test.txt obs://bucket-test/key
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。 服务器地址:根据ECS
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。
配置OBS访问权限 OBS服务 OBS全称Object Stroage Service(对象存储服务),提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式,以减少服
dex.jpg",如果当前文件夹有同名文件,将会覆盖,可以在model_name或者camera_name中加入时间戳实现不覆盖。注意:obs文件名长度限制为1024个字符。 接口调用 upload_jpeg(upload_url, index, model_name, camera_name
为什么镜像导出到OBS桶后,大小和在镜像服务中显示的不一致? 问题描述 私有镜像导出到OBS桶后,大小和在镜像服务中显示的不一致。 例如:私有镜像在镜像服务页面显示的镜像大小为1.04 GB,导出到OBS桶后,大小为2.91 GB。 图1 问题示例 原因分析 创建的私有镜像默认格
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
file_format 是 OBS表存储格式,支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET table_comment 否 表描述。仅支持字符串常量。 obs_path 是 数据文件所在的OBS存储路径,推荐使用OBS并行文件系统存储。
仅企业账号能够配置企业项目。 OBS的企业项目用户组的细粒度授权为“OBS ReadOnlyAccess”和“OBS OperateAccess”。 (可选)标签:标签用于标识OBS中的并行文件系统,以此达到对并行文件系统进行分类的目的。OBS以键值对的形式来描述标签,每个标签
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置
产品概述 OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 OBS Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存
一张图看懂OBS权限控制