检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS支持的被授权用户 被授权用户 描述 特定用户 ACL支持通过账号授予桶/对象的访问权限。授予账号权限后,账号下所有具有OBS资源权限的IAM用户都可以拥有此桶/对象的访问权限。 当需要为不同IAM用户授予不同的权限时,可以通过桶策略配置。 拥有者 桶的拥有者是指创建桶的账号。桶拥有
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
*” 授权操作 动作范围:模板配置 模板:对象只读 核对权限配置信息,确认无误后单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图2 查看桶策略列表权限配置信息 验证 权限设置成功后单击对象名称,页面上“链接”显示该对象的访问地址。将“链接”中对象对应的URL
如何查看对象版本是否是删除标记? 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 启用“历史版本”开关,即可查看对象各个版本是否是删除标记。 你还可以使用列举桶内对象API和以下SDK接口查看对象版本是否是删除标记: Java
作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。
TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo
可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。 /opt/hive-2.3.3/bin/schematool -dbType derby -initSchema 验证是否对接成功。 示例如
作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。
进入我的凭证 在“我的凭证”界面,API凭证页签中,查看账号名、账号ID、用户名、用户ID、项目名称、项目ID。 每个区域的项目ID有所不同,需要根据业务所在的区域获取对应的项目ID。 图2 查看账号名、账号ID、用户名、用户ID、项目名称、项目ID 调用API获取用户ID、项目ID
访问对象,显示对象不存在,返回403:如果对象不存在,那么会返回404;返回403,是由于访问用户缺少列举桶内对象的权限(obs:bucket:ListBucket),需要给访问用户授予该权限,用于列举桶内对象和获取桶的元数据。 父主题: 桶和对象相关
验证 登录OBS Browser。 单击页面左上方“添加桶”,弹出“添加桶”对话框。 设置“方式”为“添加外部桶”,并在“桶名”输入框中输入需要挂载的外部桶名称。 单击“确定”,挂载外部桶成功。 单击挂载的外部桶,进入桶界面。 单击“上传对象”能够成功上传对象到挂载桶中。 选择桶内对象删除,能够成功删除对象。
public static void main(String[] args) { // 加密密钥示例:该密钥可根据业务需要自行修改,但长度必须为32个字符,即256 bit的字符串 String keyString = System.getenv("ACCESS_KEY_ID");
单位为分钟或小时,URL有效期的取值范围为1分钟到18小时,默认值为5分钟。 在“URL有效期”内,任何用户都可以访问该文件夹。 提取码 六位数字。 用户在访问分享链接时,需要输入提取码,才能看到文件夹中的对象。 单击“创建分享”,生成文件分享URL。 将链接及提取码发送给所有用户,用户通过访问链接并输入提取码以访问文件夹中的对象。
配置如下参数,授予其他账号访问桶的权限。 表1 授予访问桶的权限的参数配置 参数 取值 策略模式 自定义模式 效果 Allow 被授权用户 包含 其他账号:输入账号ID,如果需要授权给所有用户,则输入*。 说明: 账号ID和用户ID通过“我的凭证”页面可以获取。如果是授权给账号,用户ID则不用配置;如果是授权给其他
给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 原因 通过桶策略给IAM用户配置桶的读写权限后,实际上授予的权限如下: GetObject:下载对象 GetObjectVersion:下载多版本对象 PutObject:上传对象 DeleteObject:删除对象
根据使用习惯进行选择,此处以“可视化视图”为例 策略内容 选择“允许” 选择“对象存储服务 (OBS)” 勾选需要授权的操作 OBS支持的操作及对应权限说明请参见桶相关授权项和对象相关授权项 选择“所有资源” 作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
Browser右上角,单击,并选择“系统配置”。 单击“其他”。 单击“数据库路径”参数后面的按钮打开本地文件浏览器对话框。 选择路径后,单击“确定”。 在“系统配置>其他”界面单击“保存”,保存修改后的路径。 此时,重新执行上传、下载或删除操作,任务列表将正常显示任务信息。 如果仍然无法显示任务信息,请关闭OBS
创建用户组并授权。 按照IAM文档指导,将符合业务场景需求的系统角色或策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的角色和策略后,大概需要等待10~15分钟权限才能生效。 父主题: 对当前账号下多个IAM用户或用户群组授权
【权限1】(被授权用户需要在控制台或OBS Browser+操作时必选) 选择“允许” 选择“对象存储服务 (OBS)” 勾选“列表”操作中的“obs:bucket:ListAllMyBuckets” 选择“所有资源” 【权限2】 选择“允许” 选择“对象存储服务 (OBS)” 勾选需要授权的操作