检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问服务端加密对象必须使用HTTPS协议。 父主题: 常见问题(Java SDK)
安装presto server 版本:prestoSQL-333 下载Presto客户端和服务端。 下载客户端 下载服务端 下载hadoop-huaweicloud插件:下载地址。 执行以下命令,解压Presto服务端。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
使用临时URL进行授权访问(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。 合并段或取消分段上传任务。 分段上传的主要目的是解决大文件上传或网络条件较差的情况。
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
当用户在其他域名服务商购买域名时,由于华为云无法感知该域名是否可以解析到目标桶域名,因此需要用户自行配置解析规则,具体配置方法请参见配置CNAME。 父主题: 域名管理
并行文件系统挂载后,为何显示256T? 问题背景: 当您在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。 解释说明: 该数值实际上无任何意义,您可以使用的并行文件系统容量无限制。 父主题: 并行文件系统
” 选择“所有资源” 【权限2】 选择“允许” 选择“对象存储服务 (OBS)” 勾选“列表”操作中的“obs:bucket:ListBucket” 选择“特定资源 > 通过资源路径指定 >添加资源路径”,在路径中输入授权的桶名称,表示本策略只对该桶生效 作用范围 默认为“全局级服务
OBS Browser+需通过公网下载,或者从其他可以访问公网的云服务器下载后传到当前云服务器安装。 前提条件 在登录ECS云服务器之前,请确保您已购买云服务器。
如何获取账号ID和用户ID?(Node.js SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,API
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
(Java SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,用户可不感知。
我可以上传同名对象到同一个文件夹中吗? 可以上传,但上传后的对象可能会覆盖原有同名对象: 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用空间
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络
境外数据传输回国场景下的丢包和网络稳定性问题 在数据跨境传输场景下,由于您所在的网络环境可能处在运营商网络边缘节点,向运营商网络请求成功率比较低,所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国,然后再从国内访问和下载数据。 父主题: 产品咨询
文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
为什么我运行了百万级别的任务后,感觉任务执行较慢? 这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图