正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认关闭,批量服务的运行日志仅存放在ModelArts日志系统。 启用运行日志输出后,批量服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。如需了解LTS专业日志管理功能,请参见云日志服务。 说明: “运行日志输出”开启后,不支持关闭。
Object Git仓库信息,如表28所示。该字段不支持使用,在调用接口时会自动返回。 resource_reserved_timestamp Integer 资源预留时间戳。 auto_stop Object 自动停止参数,如表14 auto_stop字段数据结构说明所示。 failed_reasons
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器,如果没有,建议申请一台弹性云服务器并购买弹性公网IP,并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本,方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作,请参考本案例。
在线服务 将AI应用部署为一个Web Service,并且提供在线的测试UI与监控功能。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 边缘服务 通过智能边缘平台,在边缘节点将AI应用部署为一个Web Service。
签,并且自动同步在模型描述部分,保存到“README.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文件,里面包含该模型的简介、能力描述、训练情况、引用等信息。编辑内容会自动保存在“README.md”文件里。 更新后的“README.md”文件自动存放在数
单击AI应用名称,进入AI应用详情页,单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称: 服务的名称,按照实际需要填写 是否自动停止:如果配置自动停止,服务会按照配置的时间自动停止。如果需要常驻的服务,建议关掉该按钮。 描述:按照需要填写。 资源池:选择专属资源池。若之前未购买专属资源池,具体步骤请参考创建资源池。
通过运行install.sh脚本,会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
单击红框中相应位置,即可出现下拉框,修改响应的数据源和资源池。 刷新数据 单击右上角的图标,即可刷新整个DashBoard的所有数据,各panel也会更新 修改自动刷新时间 图6 修改自动刷新时间 模板的默认刷新时间是15分钟,如果觉得该时间不合适,可在右上角下拉选择修改,修改后,单击保存即可生效。 修改DashBoard查询数据时间范围
定时停止:开启定时停止功能后,该Notebook实例将在运行时长超出您所选择的时长后,自动停止。 说明: 出于对用户任务进度的保护,在您设置的自动停止时间到达后,Notebook不会立即自动停止,可能会有2-5分钟的延迟,方便您进行续约。 填写Notebook详细参数,如镜像、资源规格等,详细参数请参见表2。
规格:选择单GPU规格。 单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。
范围:10.0.0.0/8~26、172.16.0.0/12~26、192.168.0.0/16~26。 IPV6:开启IPv6功能后,将自动为子网分配IPv6网段,暂不支持自定义设置IPv6网段,该功能一旦开启,将不能关闭。 若创建网络时未勾选开启IPv6,也可在创建网络后在操作列单击“启动IPv6”,如图3
通过运行install.sh脚本,会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
a-user/work”。 单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几
a-user/work”。 单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几
中将数据从OBS复制到“/cache”目录,然后每次从“/cache”目录读取数据,直到训练结束。训练结束以后“/cache”目录的内容会自动被清空。 优化方式 以TensorFlow代码为例。 优化前代码如下所示: 1 2 3 4 ... tf.flags.DEFINE_string('data_url'
nd" 图17 配置云端python解释器 云端Notebook安装依赖。 打开“Tool>Start SSH Section”,安装依赖软件。 # 进入MindSpore环境 source /home/ma-user/anaconda3/bin/activate MindSpore
平台结合与100+客户适配、调优开源大模型的行业实践经验,沉淀了大量适配昇腾,和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期,确保了模型在各类应用场景下的高性能表现
除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。 每种探针下会显示以下字段:检查方式、健康检查URL(检查方式为“HTTP请求检查”时显示)、健康检查命令(检查方式为“执行命令
userdata机制拉取cce-agent,但是在服务器上查看没有拉cce-agent的动作,理论上该动作是cloudinit中的脚本在创建时自动执行的,可能是由于安装脚本没有注入userdata或者注入了但未执行。 经查看是由于userdata未执行,可能原因为服务器A制作镜像时没有清理残留目录导致,即:
后,需要通过“nvidia-modprobe”命令来加载相应的内核模块,以便让显卡驱动正常工作。 通常情况下,在安装NVIDIA驱动时,会自动执行“nvidia-modprobe”命令,将必要的内核模块加载到系统中。但有时候也可能需要手动执行该命令。例如,在更新了NVIDIA驱动