检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
├──awq # W4A16量化工具 ├──convert_awq_to_npu.py # awq权重转换脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测
{TP}PP${PP} # 训练过程Megatron格式权重 |──converted_mg2hf_weight # 训练完成转换为HF格式权重目录， |──logs # 训练过程日志 |──preprocessed_data
Step2 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重，目录结构会自动生成，无需用户创建
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重，目录结构会自动生成，无需用户创建
websocket_upgrade 否 Boolean 服务接口是否升级为WebSocket。部署服务时，默认值为false；更新服务配置时，默认值为上一次设置的值。 false：不升级为WebSocket。 true：升级为WebSocket。开启后，不支持修改。开启WebSocket时，不支持同时设置“服务流量限制”。
请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“Failed to load audio”的报错。 您可以进入批量服务的详情页面，通过切换页签查看更多详细信息，详情说明请参见表2。 表2 批量服务页签 参数 说明 事件 展示当前服务使用过程中的关键操作，比如服务部署进度、部署
Step2 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入： cd /home/ma-user/
{TP}PP${PP} # 训练过程Megatron格式权重 |──converted_mg2hf_weight # 训练完成转换为HF格式权重目录， |──logs # 训练过程日志 |──preprocessed_data
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重，目录结构会自动生成，无需用户创建
JobEngine(image_url="fake_image_url"), # 自定义镜像的url，格式为：组织名/镜像名称:版本号，不需要携带相应的域名地址；如果image_url需要设置为运行态可配置，则使用如下方式：image_url=wf.Placeholder(name="image_url"
py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本 精度评测切换conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。 conda activate python-3
├── build.sh # 安装量化模块的脚本 ... 执行如下命令进行权重转换。 cd autosmoothquant/examples/ python smoothquant_model.py --model-path
有的标签，单击“添加”。 逐步标注图片中所有物体所在位置，一张图片可添加多个标签。完成一张图片标注后，可单击图片右上角来切换下一张（也可使用快捷键【D】直接切换），快速选中其他未标注的图片，然后在标注页面中执行标注操作。 图5 添加物体检测标签 单击页面上方“返回数据标注预览”查
订购订单支付完成后跳转的url地址。 os.modelarts/order.id 否 String 订单id，包周期资源池创建或者计费模式变更的时候该参数必需。 表7 PoolSpecCreation 参数 是否必选 参数类型 描述 type 是 String 资源池类型。可选值如下：
String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id String 订单id，包周期资源池创建或者计费模式变更的时候该参数必需。 os.modelarts/flavor.resource.ids String 每种规格对应的resourceId，主要和cbc交互使用。
因安全问题，不支持用户开通使用In命令。 bash:/home/ma-user/.pip/pip.conf：Permission Denied 因从V1切换到V2时，ma-user的uid仍是1102未改变导致。 tee: /xxx/xxxx: Permission denied cp: cannot
所有资源，均在该空间下。当您创建新的工作空间之后，相当于您拥有了一个新的“ModelArts分身”，您可以通过菜单栏的左上角进行工作空间的切换，不同工作空间中的工作互不影响。ModelArts的用户需要为不同的业务目标开发算法、管理和部署模型，此时可以创建多个工作空间，把不同应用
├── build.sh # 安装量化模块的脚本 ... 执行如下命令进行权重转换。 cd autosmoothquant/examples/ python smoothquant_model.py --model-path
基本参数请参考步骤八 启动scheduler实例，额外的参数如下： --dynamic：是否开启自适应角色转换，如果不开启，则下方参数无效 --replan-interval：重新计算pd配比转换的间隔时间，默认6000，单位为秒 --profile-input-len：profiling的输入长度，默认"64
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
