检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
number 参数解释: OBS服务端返回的HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 Code string 参数解释: OBS服务端返回的错误码。 Message string
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
创建桶失败 如果当前用户所创建的桶已达到上限100个,删除一些闲置的桶再创建。 如果是当前桶名已存在,则更换桶名再创建。在OBS中,桶名必须是全局唯一的,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创
对单个IAM用户授予桶的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的指定操作权限,此处以授予删除桶的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
对单个IAM用户授予指定对象的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶中指定对象的指定操作权限,此处以授予下载对象的权限为例。 如果需要配置其他指定的权限,在桶策略的动作名称中选择对应动作即可。OBS支持的动作 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。
设置桶日志后,进行图片处理,发现有100网段的ip访问桶 用户开启了桶日志配置,在对桶里的对象进行图片处理后,查看桶的访问日志,发现有100网段的ip访问了该桶。 原因是:在进行图片处理的过程中,OBS会通过内网访问客户的桶来下载原图并进行图片处理,此时内网ip会被记录到桶日志中,同时会产生下载次数的计费。 父主题:
Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。
介绍了每个接口的参数和使用方法。 您可以通过ObsClient.headBucket接口判断该桶是否已存在。以下代码展示如何判断指定桶是否存在: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编
nt文件夹的自定义策略。 在左侧导航窗格中,单击“权限管理”>“权限”>“创建自定义策略”。 配置自定义策略参数。 在使用IAM权限之前需明确用户所需要的权限集合,IAM用户只拥有配置的策略所对应的权限。在本案例中APPServer只拥有APPClient文件夹下对象的所有操作权限。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
建议妥善管理认证凭证,减小因凭证泄漏导致的数据泄露风险 正确的使用OBS提供的访问控制能力保护数据不泄露、不被篡改 加密存储数据 构建数据的恢复、容灾能力避免数据被异常破坏 确保您的数据在传输到OBS过程中不被窃取和篡改 利用OBS提供的操作日志审计是否存在异常数据访问操作 使用最新版本的SDK获得更好的操作体验和更强的安全能力
又在控制台修改了匿名用户的ACL配置,即便不是修改delivered属性,匿名用户的delivered属性也会被覆盖为false。控制台修改匿名用户ACL配置的操作有两处,任何一处的操作都会触发delivered属性被覆盖为false: 修改“公共权限”配置 单击“用户权限”列表
说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。 产生警告的任务数与成功/失败任务数是相互独立的,总任务数仍是成功的任务数+失败的任务数。
对单个IAM用户授予创建桶和列举桶的权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS创建桶和列举桶的权限。拥有本权限的IAM用户可以创建桶,创建的桶仍然属于IAM用户对应的账号。同时该IAM用户也可以看到账号下的所有桶。 推荐配置方法 创建桶和列举桶属于OB
单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下多个IAM用户或用户群组授权
String 可选 参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。
口参考文档详细介绍了每个接口的参数和使用方法。 OBS客户端支持通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授予其他用
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。