检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若编译过程出现所依赖的tar包下载失败,如下图所示: 图1 tar包下载失败 可设置ssl忽略证书验证,修改/home/ma-user/triton/python/setup.py文件,open_url()方法: # 新增ssl忽略证书验证 import ssl
/work_dirs/eval_msvd/$CKPT下,存在两个文件,可以查看推理的精度和性能结果 精度结果文件:accuracy_${time_stamp}.json 性能结果文件:performance_${time_stamp}.json 图1 精度结果 图2 性能结果 父主题
测试音频speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav的识别结果如下: 图2 测试音频识别结果 步骤九:在Aishell1测试集上测试
设置算法启动方式(预置框架+自定义) 图2 使用预置框架+自定义镜像创建算法 需根据实际算法代码情况设置“镜像”、“代码目录”和“启动文件”。选择的预置框架和编写算法代码时选择的框架必须一致。
理解ModelArts的权限与委托 图1 权限管理抽象 ModelArts与其他服务类似,功能都通过IAM的权限来进行控制。
表13 WorkflowSubgraph 参数 参数类型 描述 name String 子图名称。 steps Array of strings 子图step成员。 表14 DataRequirement 参数 参数类型 描述 name String 训练数据的名称。
理解ModelArts的权限与委托 图1 权限管理抽象 ModelArts每个功能都通过IAM的权限来进行控制。
如下图所示,文件包含了租户名(User Name),AK(Access Key Id),SK(Secret Access Key)。 图1 credential.csv文件内容 AK/SK生成步骤: 注册并登录管理控制台。 单击右上角的用户名,在下拉列表中单击“我的凭证”。
图1 复制登录指令 Step3 修改并上传镜像 1.
您可以单击编辑图标,更新训练作业的描述。 “作业优先级” 显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。 “预置镜像” 本次训练作业使用的预置镜像框架。
图1 从训练中选择元模型 表2 元模型来源参数说明 参数 说明 “元模型来源” 选择“从训练中选择”。 在“选择训练作业”右侧下拉框中选择当前账号下已完成运行的训练作业。 “动态加载”:用于实现快速部署和快速更新模型。如果勾选动态加载,则模型文件和运行时依赖仅在实际部署时拉取。
单击右上角“创建自定义策略”,“策略名称”为“Policy1”,策略配置方式选择JSON视图,输入策略内容,单击“确定”。 自定义策略“Policy1”的具体内容如下,可以直接复制粘贴。
图1 复制登录指令 Step3 修改并上传镜像 1.
支持自定义交叉熵融合算子,满足BMTrain框架训练性能要求 优化PageAttention算子,满足vllm投机推理场景 支持CopyBlocks算子,满足vllm框架beam search解码场景 支持AdvanceStep算子,满足vllm投机推理场景 多个融合算子支持PTA图模式适配
操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行,需要购买ModelArts专属资源池。 准备权重 准备对应模型的权重文件。
支持自定义交叉熵融合算子,满足BMTrain框架训练性能要求 优化PageAttention算子,满足vllm投机推理场景 支持CopyBlocks算子,满足vllm框架beam search解码场景 支持AdvanceStep算子,满足vllm投机推理场景 多个融合算子支持PTA图模式适配
图2 提示clip-vit-large-patch14-336模型不能自动下载 父主题: MLLM多模态模型训练推理
图像理解、对话问答 中文、英文 参数配置完成后,单击“创建”,创建自定义模型。
图1 服务测试 下面的测试,是您在自动学习文本分类项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后,您可添加文本进行测试。在“自动学习”页面,选择目标项目,进入“模型部署”界面,选择状态为“运行中”的服务版本,在“服务测试”区域的文本框中,输入需测试的文本。
图1 资源配置(单节点方式) 修改容器引擎空间大小 扩容资源池时,可以设置新建节点的容器引擎空间大小。此操作会导致资源池内该规格下节点的dockerBaseSize不一致,可能会使得部分任务在不同节点的运行情况不一致,请谨慎操作。存量节点不支持修改容器引擎空间大小。