检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。 表7 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array
INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否 String
--chown=ma-user:ma-group pip.conf /home/ma-user/.pip/pip.conf # 设置容器镜像预置环境变量 # 将python解释器路径加入到PATH环境变量中 # 请务必设置PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=${ANACONDA_
AI应用基本信息参数说明 参数名称 说明 名称 AI应用名称。支持1~64位可见字符(含中文),名称可以包含字母、中文、数字、中划线、下划线。 版本 设置所创建AI应用的版本。第一次导入时,默认为0.0.1。 说明: AI应用创建完成后,可以通过创建新版本,导入不同的元模型进行调优。 描述 AI应用的简要描述。
AI应用的大小。 健康检查 如果元模型来源于对象存储服务/容器镜像,显示健康检查状态。当健康检查为开启时,会根据您启用的探针显示对应探针的参数设置情况。 启动探针:用于检测应用实例是否已经启动。如果提供了启动探针(startup probe),则禁用所有其他探针,直到它成功为止。如果
arts/user-job-dir/code/train.py”。可通过以下方式使用指定的“conda env”启动训练: 方式一:为镜像设置正确的“DEFAULT_CONDA_ENV_NAME”环境变量与“ANACONDA_DIR”环境变量。 ANACONDA_DIR=/home/ma-user/anaconda3
service实现将VPC子网分配的私有IP写入网卡配置文件中。NetworkManager.service会优先读取网卡配置文件中的IP设置为主机IP, 此时无论DH Cient是否关闭,服务器都可以获取分配IP。 当服务器没有网卡配置文件时,DH Client开启,此时服务器会分配私有IP。如果关闭DH
transformers sentencepiece #安装量化工具依赖 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网:https://docs
ModelArts标注数据丢失,看不到标注过的图片的标签 如何将某些图片划分到验证集或者训练集? 物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等? ModelArts数据管理支持哪些格式? 旧版数据集中的数据是否会被清理? 数据集版本管理找不到新建的版本
的操作。 预测 对在线服务进行预测。具体操作请参见使用预测功能测试在线服务。 实例 查看同步在线服务的实例信息。这里的实例个数和部署服务时设置的“计算节点个数”相对应,如果修改服务或服务异常,实例数会有变化。如果存在某个实例异常希望重建实例,您可单击“删除”按钮,该实例被删除后会自动新建一个相同计算规格的实例。
Lite进行推理时一般需要先设置目标设备的上下文信息,然后构建推理模型,获取输入数据,模型预测并得到最终的结果。一个基础的推理框架写法如下所示: # base_mslite_demo.py import mindspore_lite as mslite # 设置目标设备上下文为Ascend,指定device_id为0
将被一并删除。 其中,“角色”支持“Labeler”、“Reviewer”和“Team Manager”,“Team Manager”只能设置为一个人。 需要注意的是:目前不支持从标注任务中删除labeler。labeler的标注必须通过审核后,才能同步到最终结果,不支持单独分离操作。
“按节点数量”两种滚动方式。 按节点比例:每批次驱动升级的节点数量为“节点比例*资源池节点总数”。 按节点数量:每批次驱动升级的节点数量为设置的节点数量。 对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动节点数量选择无业务的节点,隔离节点并滚动升级。
transformers sentencepiece #安装量化工具依赖 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网:https://docs
取值范围大于0并且大于等于(endTimeInMillis - startTimeInMillis) / (60 * 1000) - 1 当开始时间与结束时间都设置为-1时,系统会将结束时间设置为当前时间UTC毫秒值,并按(endTimeInMillis - durationInMinutes * 60 * 1000)计算开始时间。如:-1
“按节点数量”两种滚动方式。 按节点比例:每批次驱动升级的节点数量为“节点比例*资源池节点总数”。 按节点数量:每批次驱动升级的节点数量为设置的节点数量。 对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动节点数量选择无业务的节点,隔离节点并滚动升级。
ckpt的代码,使能读取前一次训练保存的预训练模型。 在ModelArts训练中实现增量训练,建议使用“训练输出”功能。 在创建训练作业时,设置训练“输出”参数为“train_url”,在指定的训练输出的数据存储位置中保存Checkpoint,且“预下载至本地目录”选择“下载”。选
规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor model
创建AI应用界面上配置的健康检查地址与实际配置的是否一致 如果使用的是ModelArts提供的基础镜像创建AI应用,健康检查URL默认必须为/health。 图4 设置健康检查URL 模型推理代码customize_service.py编写有问题 如果模型推理代码customize_service.py编
error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 为指定服务添加标签。设置TMS标签的key为“test”和“model_version”,TMS标签的value为“service-gpu”和“0.1”。 htt