检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例:创建DDP分布式训练(PyTorch+GPU) 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。
SFS、OBS和EVS有什么区别? 块存储、文件存储和对象存储三种类型存储的区别请参考块存储、文件存储和对象存储的区别。此处仅介绍三个服务的区别。 弹性文件服务SFS、对象存储服务OBS与云硬盘EVS之间的对比如表1所示。
分布式缓存服务 DCS Organizations服务中的服务控制策略(Service Control Policy,以下简称SCP)可以使用以下授权项元素设置访问控制策略。 SCP不直接进行授权,只划定权限边界。
指定公网IP 网络类型选择“公网网络”时可见,选择为DRS实例绑定的弹性公网IP。任务创建时,DRS将会自动绑定该弹性公网IP,等待任务结束后将自动解绑该弹性公网IP。 公网网络迁移产生的数据传输费用收取标准请参见:弹性公网IP价格计算器。
AOF文件在以下三种情况下会被重写。 如果磁盘达到阈值,无论是否处于时间窗内:当AOF文件大小 > 数据集使用内存时,实例AOF文件会被重写。 如果磁盘未达到阈值,处于重写时间窗内:当AOF文件大小 > 数据集使用内存的1.5倍时,实例AOF文件会被重写。
示例:创建DDP分布式训练(PyTorch+NPU) 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时,需要配置如下参数。
源端DN数量 需要和分布式源库DN(Data Node)节点数量保持一致。 指定公网IP 网络类型选择“公网网络”时可见,选择为DRS实例绑定的弹性公网IP。任务创建时,DRS将会自动绑定该弹性公网IP,等待任务结束后将自动解绑该弹性公网IP。
缩容实例协调节点(分布式) 操作场景 随着业务下降,数据库协调节点利用率低,资源浪费严重。为提高资源利用率,需要对协调节点进行缩容。GaussDB分布式独立部署形态支持协调节点缩容操作。 注意事项 协调节点缩容操作不会中断业务。 仅支持独立部署实例。 协调节点至少需要保留一个。
OPS06-06 实施分布式跟踪 Trace是一系列因果相关的分布式事件的表示,这些事件编码了流经分布式系统的端到端请求流。 风险等级 高 关键策略 当系统出现问题时,需要能够追踪系统中每个组件的行为和交互情况。通过在系统中实现分布式跟踪,可以快速定位问题并进行有效的故障排除。
分布式消息服务RabbitMQ版 本章节介绍在控制台添加分布式消息服务RabbitMQ版自定义事件源的方法。 分布式消息服务RabbitMQ版当前支持局点:上海一、上海二、北京四、华北-乌兰察布一、华南-广州。 前提条件 (可选)创建自定义事件源前,需要先创建自定义事件通道。
扩容实例协调节点(分布式) 操作场景 随着实例部署时间及业务的增长,数据库在运行性能及存储上逐渐会达到瓶颈。此时,需要通过增加主机来提升实例的性能及存储能力。GaussDB分布式独立部署形态支持扩容节点操作。
创建单机多卡的分布式训练(DataParallel) 本章节介绍基于PyTorch引擎的单机多卡数据并行训练。 MindSpore引擎的分布式训练参见MindSpore官网。
分布式消息服务RabbitMQ版 DMS RabbitMq队列打开SSL加密访问 DMS RabbitMQ实例开启公网访问 父主题: 系统内置预设策略
分布式消息服务RabbitMQ版计费概述 通过阅读本文,您可以快速了解分布式消息服务RabbitMQ版的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 分布式消息服务RabbitMQ版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。
DDM的分布式事务实现 DDM中的分布式事务模块基于MySQL XA协议实现,XA协议是对2PC(Two Phase Commit)事务模型的一种实现,2PC是一种经典的分布式事务实现方案。
源端DN数量 需要和分布式源库DN(Data Node)节点数量保持一致。 指定公网IP 网络类型选择“公网网络”时可见,选择为DRS实例绑定的弹性公网IP。任务创建时,DRS将会自动绑定该弹性公网IP,等待任务结束后将自动解绑该弹性公网IP。
本地Oracle同步到GaussDB分布式版 概述 资源规划 操作流程 创建VPC和安全组 创建GaussDB实例 同步前构造数据 同步数据库 同步后进行数据校验 父主题: 实时同步
表3 DssPool 参数 参数类型 描述 id String 专属分布式存储池ID。 name String 专属分布式存储池名称。 type String 专属分布式存储池的存储类型。 SSD:超高IO专属分布式存储池。
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。
测试共享云硬盘性能时,必须满足以下要求: 共享云硬盘必须同时挂载至多台云服务器(弹性云服务器或者裸金属服务器)。 当共享云硬盘挂载至多台弹性云服务器时,这些弹性云服务器必须位于同一个策略为“反亲和性”的云服务器组内。