检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(Press CTRL+C to quit) Step7 推理请求 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${containe
查看日志、错误等，并进行代码、环境变量的修正。 预置脚本测试整体流程 一般使用run.sh封装训练外的文件复制工作（数据、代码：OBS-->容器，输出结果：容器-->OBS），run.sh的构建方法参考run.sh脚本测试ModelArts训练整体流程。 如果预置脚本调用结果不符
Tenant Administrator 可选 CES云监控 授予子账号使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 可选 SMN消息服务 授予子账号使用SMN消息服务的
ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后，其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
--quantization-param-path kv_cache_scales.json #输入2. 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景
--quantization-param-path kv_cache_scales.json #输入2. 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景
Step2 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
06:00完成了数据校验，10:06:00-10:12:00完成了图像分类，11:30:00完成了服务部署，并在12:00:00停止运行在线服务。同时，使用公共资源池运行实例，模型训练时选择资源池规格为CPU: 8 核 32GB、计算节点个数为1个（单价：3.40 元/小时）；服务部署时选择资源池规格为CPU:
OBS）”时，需指定一个用于存储的OBS路径。 “高级特征选项”：启用此功能后，可选择“清晰度”、“亮度”、“图像色彩”等维度为自动分组功能增加选项，使得分组着重于图片亮度、色彩和清晰度等特征进行分组。支持多选。 图1 自动分组 启动任务提交成功后，界面右上角显示此任务的进度。等
Notebook”，单击“创建”，在创建Notebook页面，资源池规格只能选择专属资源池。 使用子账号用户登录ModelArts控制台，选择“模型部署 > 在线服务”，单击“部署”，在部署服务页面，资源池规格只能选择专属资源池。 父主题： 典型场景配置实践
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
选择步骤3构建的镜像。 图3 创建模型 将创建的模型部署为在线服务，大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理，请求路径填写/v2/models/en
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
moondream2 moondream2:/home/ma-user/ #复制moondream2目录到容器中 Step5 准备测试数据 需要用户自己准备测试图片。 将测试图片存放在宿主机/home/temp/data目录下，修改目录权限后，复制到容器中。 chmod -R 777 data
行分布式训练？ 如何查询自定义镜像的cuda和cudnn版本？ Moxing安装文件如何获取？ 如何使用soft NMS方法降低目标框堆叠度 多节点训练TensorFlow框架ps节点作为server会一直挂着，ModelArts是怎么判定训练任务结束？如何知道是哪个节点是worker呢？
异常。 物体检测：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页，您可以通过搜索框，根据自动学习的属性类型（项目名称）快速搜索过滤到相应的工作流，可节省您的时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
