检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响? OBS总览页数据不一致的原因是什么? 境外数据传输回国场景下的丢包和网络稳定性问题
的大部分功能。 支持多段上传。 可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器
多AZ和单AZ的性能对比请参见存储类别对比。 请根据业务情况提前规划数据冗余存储策略,桶一旦创建成功,数据冗余存储策略就确定了,后续无法更改。 归档存储的桶不支持多AZ功能。 深度归档存储的桶不支持多AZ功能。 存储类别 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。
对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践 父主题: OBS Browser+和obsutil等工具相关
obsutil具有四大优势: 简单、易用; 无需安装,轻便小巧,即下即用; 同时支持Windows/Linux/macOS三大平台; 配置多元化,性能优良。 使用场景 自动化备份归档等场景,比如定时上传本地数据至OBS。 支持通过OBS Browser+等其他工具不能实现的场景,比如同步上传/下载/复制对象等。
Administrator权限后才能删除DIS通知策略 设置在线解压策略 对象存储服务 OBS 需要增加Tenant Administrator权限后才能设置在线解压策略 获取在线解压策略 对象存储服务 OBS 需要增加Tenant Administrator权限后才能获取在线解压策略 删除在线解压策略 对象存储服务
据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
多AZ和单AZ的性能对比请参见存储类别对比。 请根据业务情况提前规划数据冗余存储策略,桶一旦创建成功,数据冗余存储策略就确定了,后续无法更改。 归档存储的桶不支持多AZ功能。 深度归档存储的桶不支持多AZ功能。 存储类别 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。
obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置: 1 2 3 4 <property> <name>fs.obs.buffer
不支持深度归档,支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读,但不建议使用此方法并发写。 性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件进行命名时,不允许连续使用两个“/”字符。例如,将文件命名为“test//123
如果该值不为空且不以“/”结尾,则工具会自动为该值末尾加上“/”作为源对象名前缀。 请参考同步复制示例理解该参数的使用方式。 dryRun 附加参数,可选 测试模式运行,不执行实际的复制操作。 crr 附加参数,可选 复制时使用客户端跨区域复制模式,从通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
同步上传文件时生成结果清单文件。 arcDir 附加参数,可选 同步上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文
op集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务
将解析成名为“mybucket”的桶,导致访问出错。 DNS命名规范方便全局统一,方便在访问桶时对桶进行解析,可以使客户受益于新功能和优化性能,并支持对桶进行静态网站托管。 桶创建成功后,不能修改名称,创建时,请设置合适的桶名。 单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。
身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、
加密算法、密钥长度限制更改导致的不同sdk版本间的数据加解密失败 建议您综合安全和性能方面来决定RSA密钥的长度,未来版本会增加密钥长度限制,必须为3072 bits长度以上。 建议您综合安全和性能方面来设置secureRandom。 建议您使用pkcs8格式的rsa密钥。 加密过程与加密套件
存储诉求。 对象存储服务设置有四类桶存储类别,分别为:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的存储类别可以修改。 在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自
close方法显式关闭,回收连接资源。 如果未调用ObsClient -> close方法,则该方法会被ObsClient的析构函数调用,以确保连接资源的释放。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将endpoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化
断点续传下载(Java SDK) 功能说明 当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段
TPS协议。 如果启用了长连接模式,使用完OBS客户端后必须调用ObsClient.close方法显式关闭,回收连接资源。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将server设置为IP,必须使用域名访问OBS服务。 配置SDK代理请参见配置SDK代理(Node.js