检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认使用的Runtime为python2.7。 MindSpore aarch64(推荐) aarch64只能用于运行在Snt3芯片上。 父主题: Standard功能介绍
Cluster资源池如何进行NCCl Test? ModelArts提供AI诊断功能,用户可以通过NCCl Test,测试节点GPU状态,并且测试多个节点间的通信速度。 操作步骤 单击资源池名称,进入资源池详情。 单击左侧“AI组件管理 > AI诊断”。 单击“诊断”,选择“日志上传路径”和NCCL
资源池统计 功能介绍 获取资源池的统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/statistics/pools
功能介绍 Standard功能介绍 MaaS大模型即服务平台功能介绍 Lite Cluster&Server介绍 AI Gallery功能介绍
选择资源的续费时长,判断是否勾选“统一到期日”,将资源的到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 统一包年/包月资源的到期日 如果您持有多台到期日不同的专属资源池,可以将到期日统一设置到一个日期,便于日常管理和续费。
选择按需计费的NAT网关时,单击“提交”。 选择包年/包月计费的NAT网关时,单击“去支付”。 进入订单支付页面,确认订单信息,单击“确认付款”。 虚拟私有云和子网和Server资源的网络保持一致。 配置SNAT规则。 SNAT功能通过绑定弹性公网IP,实现私有IP向公有IP的转换,可实现VPC内跨
用。目前,提供的MoXing Framework功能中主要包含操作OBS组件,即下文中描述的mox.file接口。 Moxing主要使用场景为提升从OBS读取和下载数据的易用性,适配对象为OBS对象桶,对于OBS并行文件系统部分接口可能存在问题,不建议使用。生产业务代码开发建议直接调用OBS
训练精度测试 流程图 训练精度测试流程图如下图所示: 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令,可以多次执行,按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
训练精度测试 流程图 训练精度测试流程图如下图所示: 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令,可以多次执行,按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
MMLU、CEVAL】评测,执行过程如下: 获取到训练权重后使用ascendfactory-cli、eval接口用mmlu、ceval数据集对训练后的结果进行评测 test-benchmark目录目录下执行命令 ascendfactory-cli eval <cfgs_yaml_file>
Studio首页单击“购买套餐包”,进入购买页面。 在购买页面,选择套餐包“规格”和“购买数量”,单击“立即购买”,确认订单详情,单击“去支付”,根据界面提示完成套餐包支付。 支付完成后,在ModelArts Studio大模型即服务平台创建任务时,选择套餐包规格的公共资源池,在运行任务时既可优先使用套餐包资源。
├── eval_test.py # 启动脚本,建立线程池发送请求,并汇总结果 ├── service_predict.py # 发送请求的服务 执行精度测试启动脚本eval_test.py,具体操作命令如下,可以根据参数说明修改参数。 python eval_test.py \
若有多台机器资源,会生成对应多笔订单,需逐一支付每笔订单,不可合并支付。 单击“立即创建”,完成实例的创建,随后进入付款界面。 支付对应资源的订单。 图8 支付订单 若有多台机器资源,会生成对应多笔订单,需逐一支付每笔订单,不可合并支付。 支付完成后,由于Server资源创建约20~
创建节点池 功能介绍 创建节点池。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/pools/{pool_name}/nodepools
训练性能测试 流程图 训练性能测试流程图如下图所示: 图1 训练性能测试流程 执行性能比较脚本 完成benchmark启动任务。 进入test-benchmark目录执行命令。 ascendfactory-cli performance <cfgs_yaml_file> --baseline
执行精度测试启动脚本eval_test.py,具体操作命令如下,可以根据参数说明修改参数。 python eval_test.py \ --max_workers=1 \ --service_name=llama2-13b-chat-test \ --eval_dataset=ceval
该参数为其本地路径,如 : data = "/home/ma-user/work/test.jpg" 针对json类型的数据, 该参数可以是其本地路径,如: data = "/home/ma-user/work/test.json" 同时也可以为“dict”类型的变量 ,如: data = {
版本情况,优化了当前需手工处理,增加运维成本问题。 支持节点新进入集群,默认启用准入检测,以能够拉起真实的GPU/NPU检测任务 支持集群扩容时,扩容的节点默认开启准入检测,该准入检测也可关闭,以提升拉起真实的GPU/NPU检测任务成功率。 父主题: 功能介绍
训练性能测试 流程图 训练性能测试流程图如下图所示: 图1 训练性能测试流程 执行训练任务 进入test-benchmark目录执行训练命令,可以多次执行,卡数及其它配置参考NPU卡数取值表按自己实际情况决定。 单机<可选>: # 默认8卡 benchmark-cli train
调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用启动智能任务接口给图像分类的数据集创建一个智能标注任务。 调用获取智能任务的信息接口根据智能标注的任务ID查询任务详情。 待智能标注任务完成后,调用查询智能标注的样本列表接口可以查看标注结果。