检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
给用户配置OBS系统权限或桶读写权限后仍然提示拒绝访问,请检查相应权限 原因 给用户配置了OBS系统权限 在IAM中给用户配置了OBS ReadOnlyAccess、OBS OperateAccess、OBS Buckets Viewer等系统权限后,实际上只允许执行一部分OBS操作,例如OBS
obsutil cp命令如何开启增量上传、下载和复制? 在执行obsutil cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
如何获取账号ID和用户ID?(Node.js SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? OBS Browser+ 只支持将OBS Browser保存的账号信息迁移过来,不支持迁移任务信息;同时,OBS Browser+只支持迁移一次,不支持增量迁移;因此,强烈推荐您后期一直使用OBS
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。
境外数据传输回国场景下的丢包和网络稳定性问题 在数据跨境传输场景下,由于您所在的网络环境可能处在运营商网络边缘节点,向运营商网络请求成功率比较低,所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国,然后再从国内访问和下载数据。 父主题: 产品咨询
追加上传对象是否支持并发场景下的锁机制? OBS本身不支持,如果需要避免同一个对象被并行访问,需要在上层应用中增加对象的锁机制。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
删除桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过
下载一个对象名较长的对象到本地后,对象名称改变 问题: 使用OBS管理控制台下载一个对象名较长的对象到本地后,为什么对象名称发生了改变? 原因: Windows操作系统下允许的文件名长度最大为255字符,包括文件名和扩展名在内。 当对象名称长度超过255字符时,将该对象下载到本地
为什么通过自定义域名访问桶,提示NoSuchBucket,而通过OBS访问域名可以访问? 您在配置OBS桶的自定义域名后没有完成CNAME解析。 配置OBS桶的自定义域名分为两步: 配置自定义域名:实现OBS桶域名和自定义域名绑定。 配置解析CNAME:实现OBS桶域名和自定义域名的映射。
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前