检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
如何查看账号ID和IAM用户ID 使用IAM账号登录华为云。 在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 图2 我的凭证 在API凭证页面获取IAM用户名、用户ID、账号名和账号ID。
connect returned Connection refused, retrying”,则表示NCCL无法找到通信网卡或者是无法正常访问IP地址。需要排查训练代码中是否有设置NCCL_SOCKET_IFNAME环境变量,该环境变量由系统自动注入,训练代码中无需设置。训练代码
中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进入Wo
“事件信息”为“创建资源池管理节点成功”的“事件发生时间”,创建成功的时间点对应界面上的“事件发生时间”。 对于公共资源池:计费的起点以实例创建成功的时间点为准,终点以实例停止或删除的时间为准。 实例具体如下: 因运行自动学习作业,而创建的对应的训练作业和在线服务。 因运行Wor
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案,包括sft全参和lora 微调。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
67个Notebook实例。这里的0.6就是超分比率。即启动该Notebook实例最少需要1.2U的CPU,运行Notebook时最大使用到2U的资源;内存同理,最少需要4.8G的内存,运行时最大使用到8U的内存。 超分情况下会存在实例终止的风险。如1个8U的节点上同时启动了6个2U的实例,如果
档。 确保容器可以访问公网。 Step1 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169
档。 确保容器可以访问公网。 Step1 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169
JupyterLab默认工作路径是什么? 带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实例空间,需使用JupyterLab上传下载功能。
资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买Cluster资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
数据导入方式介绍 数据集创建完成后,您还可以通过导入数据的操作,接入更多数据。ModelArts支持从不同数据源导入数据。 从OBS导入数据到ModelArts数据集 从DLI导入数据到ModelArts数据集 从MRS导入数据到ModelArts数据集 从DWS导入数据到ModelArts数据集
rver资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元
OBS模型包和文件大小需要满足以下规范: SWR镜像规范: 镜像必须内置一个用户名为“ma-user”,组名为“ma-group”的普通用户,且必须确保该用户的uid=1000、gid=100。内置用户的dockerfile指令如下: groupadd -g 100 ma-group
池。 ModelArts Standard默认提供公共资源池。ModelArts Standard专属资源池需单独创建,专属使用,不与其他用户共享。 ModelArts Lite Server和ModelArts Lite Cluster使用的都是专属资源池。 MoXing Mo
环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接Notebook、代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。 本章节介绍如何使用PyCharm ToolKit插件创建训练作业并调试。
前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“资产管理>数据处理”,进入“数据处理”页面。 在“数据处理”页面,单击“创建”进入“创建数据处理”页面。
前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“资产管理>数据处理”,进入“数据处理”页面。 在“数据处理”页面,单击“创建”进入“创建数据处理”页面。
使用pip install提示Read timed out 问题现象 在Notebook实例中,使用pip install时,提示“ReadTimeoutError...”或者“Read timed out...”的错误。 解决办法 建议先尝试使用pip install --upgrade