检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
需要存放文件,需要先格式化文件系统后使用。 访问方式 在BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。
日志提示"Permission denied" 问题现象 训练作业访问挂载的EFS,或者是执行.sh启动脚本时,出现如下错误: OSError: [Errno 13]Permission denied: '/xxx/xxxx' bash: /bin/ln: Permission denied
DockerFile构建镜像(可选) 本章节主要介绍通过DockerFile文件构建训练镜像,将训练过程中依赖包封装使用,过程中需要连接互联网git clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/LLaMAFactory
npu的形式来替代,但是真实的算子下发、显存管理、集合通信等存在差异,用户需要了解NPU的运行机制才能更好的使用NPU设备,同时在遇到问题时快速找到原因。 代码迁移操作步骤 在训练任务启动的Python脚本入口初始化Ascend Extension for PyTorch(torch_npu)。
下面介绍如何从运行中的Notebook实例打开JupyterLab。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入Notebook页面。 选择状态为“运行中”的Notebook实例,单击操作列的“打开”,访问JupyterLab。 进入Ju
安装VS Code插件并登录 本地打开VS Code软件,单击左侧导航栏的图标,将插件包拖入到扩展区空白处,即可自动安装。 待左侧导航出现图标,表示插件安装完成。 图1 安装VS Code插件 创建训练作业 单击左侧导航的图标,单击“登录”进入登录页面,输入对应的登录信息。 单击“获取
BS)、数据仓库服务(DWS)、数据湖探索服务(DLI)、MapReduce服务(MRS)和本地上传。 数据集中的数据导入入口 数据集中的数据导入有5个入口。 创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后,在数据集列表页面的操作栏单击“导入”,导入数据。 图1
承载REST服务端点的服务器域名或IP,不同服务在不同区域时,对应Endpoint不同,可以从终端节点中获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud.com”。 resource-path 资源路径,即API访问路径。从具
前提条件 创建一个Notebook实例,并开启远程SSH开发,配置远程访问IP白名单。该实例状态必须处于“运行中”,具体参见创建Notebook实例章节。 在Notebook实例详情页面获取开发环境访问地址(例如:dev-modelarts-cnnorth4.huaweicloud
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/AscendFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
已于2023年6月上线,并已作为主入口面向用户开放,用户可实现在租户账号下管理个人的作业与资源。 下线旧版自动学习对现有用户的使用是否有影响? 用户将无法再使用旧版自动学习的功能,且因旧版自动学习文件均存储于ModelArts统一管理账号下,用户无法找回旧版自动学习的作业记录。 旧版自动学习如何升级到新版自动学习?
如果不支持公共资源池,“公共资源池”按钮会置灰,鼠标悬停时,会提示:该模型版本暂不支持公共资源池部署。 步骤一:下载并安装Cherry Studio 您可以通过官方网站或开源地址下载并安装Cherry Studio。 步骤二:MaaS模型API接入准备 创建API Key。 登录ModelArts Stu
设置API 检测项目与执行条件 检测项目 item(日志关键字) 执行条件 检测成功要求 域名检测 dns 无 volcano容器的域名都解析成功(/etc/volcano下的“.host”文件中的域名解析成功) 磁盘空间-容器根目录 disk-size root 无 大于32GB 磁盘空间-/dev/shm目录
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/AscendFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
创建训练任务 登录ModelArts管理控制台,检查当前账号是否已完成访问授权的配置。如果未完成,请参考使用委托授权针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”,默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li