检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践: 表1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传
移动应用直传方案概述 在互联网中,使用OBS作为存储在移动APP(手机Android、iOS应用)中获得了越来越广泛的应用。Android和iOS应用使用OBS服务时,不能直接存储访问密钥(AK/SK),这样可能会导致访问密钥(AK/SK)被黑客软件破解获取,进而可能导致存放在云存储中的文件数据被窃取,甚至被篡改。
假设某企业下有A和B两个不同的业务部门,希望各业务部门的数据存放在自己的桶中,各业务部门的用户只能看到本部门的桶,且拥有本部门桶的上传权限。 在本场景下两个部门的管理员、用户与桶之间的逻辑关系如图1所示。 图1 逻辑关系 本例中仅为部门用户配置上传权限,您可根据实际业务需求配置其他的权限。关于桶策略的权限说明,请参见桶策略。
基于上述优势,华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对
当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS)
给业务部门授予独立的资源权限 通常一个企业可能会分设多个业务部门,各业务部门之间的数据需要独立管理。在此场景下,可以考虑给各业务部门分配各自所需的IAM用户,通过桶策略给每个业务部门下的IAM用户授予独立的资源权限。 场景假设 假设某企业下有A和B两个不同的业务部门,希望各业务部
华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据。为了避免误删操作导致业务无法正常运行,本文提供了几种规避方式,您可结合自身业务选择合适的方案。 以下建议并不等同完整的安全解决方案,可能不适合您的环境或不满足您的环境要求,仅作为参考。请务必在日常使用中提高数据安全意识并时刻做好内容安全防范措施。
可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 通过s3fs挂载OBS对象桶 s3fs是一款基于用户空间文件系统(Filesystem in
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。
我的OBS桶性能是否会受其他用户业务的影响? 不会。 OBS对不同的桶之间做了隔离,多个桶之间不会相互影响存储性能。 OBS对不同账号的访问做了性能隔离,不同账号之间不会出现性能干扰或影响。 父主题: 产品咨询
动扩展的网站托管解决方案,结合内容分发网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。 终端用户浏览器和APP上的动态数据直接与搭建在华为云上的业务系统进行交互,动态数据请求发往业务系统处理后直接返回给用户。静态数据保存在OBS中,业务系统通过内网对静态数据进行
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(
具体方案请参见操作教程。 HTTP/HTTPS数据源迁移至华为云OBS 本方案介绍了如何将网络资源迁移至华为云对象存储OBS。 具体方案请参见操作教程。 业务割接方案 如涉及业务割接,请参考以下方案。 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据
系统配置 本节介绍如何修改OBS Browser的各项配置。 操作步骤 登录OBS Browser。 在OBS Browser右上角,单击,并选择“系统配置”,系统弹出“系统配置”对话框,如图1所示。 图1 系统配置 单击“基本配置”,根据需要修改基本配置参数。 各参数含义如表1所示。
据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS
Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息,或在方案使用过程
须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
找不到put_file_object_callback_data 代码 解决方案: 3.23.9版本中示例代码部分变量或函数缺失,可以在eSDK_OBS_API_C++_Demo中查找对应的定义,然后复制到业务代码中调用。 父主题: 常见问题