检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
使用生命周期删除和转换对象存储类别的规则 本章节将介绍使用生命周期定时转换对象存储类别、删除对象的规则。 约束限制 归档和深度归档存储不支持多AZ,因此不支持使用生命周期将多AZ桶中对象的存储类别转化为归档或深度归档存储。 使用生命周期转换对象存储类别规则 图1 使用生命周期转换对象存储类别
我可以上传同名对象到同一个文件夹中吗? 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。 父主题: 桶和对象相关
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
为什么SDK源码中包含acs.amazonaws.com关键字?(Java SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。比如Java
为什么SDK源码中包含acs.amazonaws.com关键字?(Python SDK) OBS SDK为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。 SDK会自动兼容
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。
为什么我运行了百万级别的任务后,感觉任务执行较慢? 这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。
为什么通过自定义域名访问桶,提示NoSuchBucket,而通过OBS访问域名可以访问? 您在配置OBS桶的自定义域名后没有完成CNAME解析。 配置OBS桶的自定义域名分为两步: 配置自定义域名:实现OBS桶域名和自定义域名绑定。 配置解析CNAME:实现OBS桶域名和自定义域名的映射。
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
下载一个对象名较长的对象到本地后,对象名称改变 问题: 使用OBS管理控制台下载一个对象名较长的对象到本地后,为什么对象名称发生了改变? 原因: Windows操作系统下允许的文件名长度最大为255字符,包括文件名和扩展名在内。 当对象名称长度超过255字符时,将该对象下载到本地
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
给用户配置OBS系统权限或桶读写权限后仍然提示拒绝访问,请检查相应权限 原因 给用户配置了OBS系统权限 在IAM中给用户配置了OBS ReadOnlyAccess、OBS OperateAccess、OBS Buckets Viewer等系统权限后,实际上只允许执行一部分OBS操作,例如OBS
obsutil cp命令如何开启增量上传、下载和复制? 在执行obsutil cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早
使用OBS Browser管理对象时,在任务列表中无相关任务显示 问题 为什么使用OBS Browser对对象进行上传、下载、删除等管理操作时,在任务列表中无相关任务显示。 回答 使用OBS Browser对对象进行上传、下载、删除等管理操作时,需要调用OBS Browser内置
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? OBS Browser+ 只支持将OBS Browser保存的账号信息迁移过来,不支持迁移任务信息;同时,OBS Browser+只支持迁移一次,不支持增量迁移;因此,强烈推荐您后期一直使用OBS