检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
满足多种业务需求,用户通过就近部署业务,有效降低网络时延 将华为云可用区拉远,在用户数据中心提供公有云服务,满足数据本地化需求,降低业务延迟 从云端下发应用到边缘,帮助用户在云端对边缘应用进行管理,解决应用“推送/简化部署”到边缘的问题 聚焦边缘设备管理,就近提供计算和智能服务,
高性能计算 场景介绍 高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设
IEC和华为云的关系是什么? IEC为归属于华为云的一款针对边缘计算场景的云服务。 从部署位置来看:IEC部署于距离企业和热点用户区域更近的城域位置;而华为云上的其他云服务一般部署于华为云的中心区域(简称中心云)。对于您而言,使用IEC如同使用更贴近您实际业务的华为云。
数据合规性:新型业务数据存储在云端,无法满足企业对敏感数据本地化存储的要求,直接影响企业数据上云的策略。 面对传统集中式云计算的固有局限性,边缘计算成为应对新型业务和数据合规业务的较好选择。
(可选)回传数据到云上做进一步处理,根据处理结果更新应用。 这个步骤与IEF的使用本身没有强相关,但是这是一个常见的根据数据改进应用的方法,您可以根据自身需求选择是否操作。 图1 构建边缘计算
如果您想在IEC上访问华为云区域上的其他云服务,也需要通过公网Internet进行访问。 创建虚拟私有云 创建和绑定弹性公网IP 监控数据 监控是保持实例可靠性、可用性和性能的重要途径。您可以通过IEC控制台直观的了解实例的各项性能指标,更好地掌握自己的实例运行状态。
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo,主要是通过访问公网的ECS直接挂载进行迁移,可分为以下两种网络条件: 通过mount方式挂载访问SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP进行传输迁移。 使用公网迁移
Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所
目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
监控与审计 使用CES监控SFS Turbo文件系统 使用CTS审计SFS Turbo文件系统
SDK进行数据迁移。例如,如果希望将SFS Turbo中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS Turbo(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具)
Turbo导出这个对象时,如果OBS桶里该对象没有发生过修改,则会覆盖OBS桶里的对象,如果OBS桶里该对象发生过修改,则不会覆盖。 对象正在被导出时,上传同名对象可能会造成新上传的对象被覆盖。 开启WORM策略的OBS桶,无法从SFS Turbo导出数据到OBS桶。 数据淘汰功能 SFS Turbo文件系统
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
创建与卸载SFS Turbo加密文件系统 创建加密文件系统 创建SFS Turbo加密文件系统时,则不需要授权。 可以新创建加密或者不加密的文件系统,无法更改已有文件系统的加密属性。 创建加密文件系统的具体操作请参见创建SFS Turbo文件系统。 卸载加密文件系统 如果加密文件
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案,具体说明请参考云上NAS数据迁移至高性能弹性文件服务。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。
通过公网迁移本地数据至云上SFS Turbo 背景说明 用户可以将本地NAS存储中的数据,通过公网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需
约束与限制 命名类限制 表1 命名类限制 限制项 说明 SFS Turbo文件系统名称 创建的文件系统名称只能由英文字母、数字、下划线和中划线组成,输入长度需大于4个字符并小于等于64个字符,并以字母开头。 标签的键 标签的“键”最大长度为128个字符,可以包含任意语种的字母、数字和空格,以及_
支持标准型、性能型等,满足不同应用场景性能诉求。 弹性扩展 容量按需扩容,性能线性增长。 安全可靠 三副本冗余:存储数据持久度高达99.9999999%。 数据加密:存储池支持数据加密,保护数据安全。 VPC隔离:安全可靠,租户间100%隔离。 物理独享:存储池物理隔离,资源独享。 备份恢复 专
快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容,数据预热中的元数据导入采用快速导入方式,不会导入其它附加元数据(如uid、gid、mode)。