检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts委托授权 前文已经介绍，ModelArts在执行AI计算任务过程中，需要“代表”用户去访问其他云服务，而此动作需要提前获得用户的授权。在IAM权限体系下，此类授权动作是通过“委托”来完成。
ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
相对于GPU场景的镜像中安装了与GPU驱动适配的CUDA（由英伟达推出的统一计算架构）计算库，Ascend-Powered-Engine引擎的镜像中安装了与Ascend驱动适配的CANN（华为针对AI场景推出的异构计算架构）计算库。
ModelArts委托授权 前文已经介绍，ModelArts在执行AI计算任务过程中，需要“代表”用户去访问其他云服务，而此动作需要提前获得用户的授权。在IAM权限体系下，此类授权动作是通过“委托”来完成。
--num-speculative-tokens：投机推理小模型每次推理的token数。如果未使用投机推理功能，则无需配置。
专属资源池：在使用ModelArts进行AI全流程开发时，如果购买了专属资源池，同时在运行自动学习作业、Workflow工作流、Notebook实例、模型训练和部署服务时选择使用已购买的专属资源池，则以上操作用到的计算资源会直接通过专属资源池来付费。
--num-speculative-tokens：投机推理小模型每次推理的token数。如果未使用投机推理功能，则无需配置。
云化JupyterLab使用，本地IDE+ModelArts插件远程开发能力，贴近开发人员使用习惯 云上开发环境，包含AI计算资源，云上存储，预置AI引擎 运行环境自定义，将开发环境直接保存成为镜像，供训练、推理使用 ModelArts CodeLab（JupyterLab），让AI
“GPU: 1*Tnt004(16GB)|CPU: 8核* 32GB”： GPU单卡规格，16GB显存，推理计算最佳选择，覆盖场景包括计算机视觉、视频处理、NLP等 “GPU: 1*Pnt1(16GB)|CPU: 8核 64GB”：GPU单卡规格，16GB显存，适合深度学习场景下的算法训练和调测
每个元素中flavor_id是可直接用于远程训练任务的计算规格，max_num是该规格的最大节点数。如果用户知道要使用的计算规格，可以略过这一步。 提交远程训练作业。
实例数 选择专属资源池的实例数，选择的实例数越多，计算性能越强。 当“可用区”选择“指定AZ”时，实例数会根据可用区的数据自动计算，此处无需再次设置。 说明： 单次创建时，实例数建议不大于30，否则可能触发限流导致创建失败。
表7 Value 参数 参数类型 描述 cpu String cpu量，即计算资源量。 memory String 内存。 tnt004 String GPU卡的数量。
Compute Nodes 计算资源节点个数。数量设置为1时，表示单机运行；数量设置大于1时，表示后台的计算模式为分布式。
ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
--num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。
--num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。
枚举值如下: 1：准备存储 2：准备计算资源 3：配置网络 4：初始化实例 step_description String 任务某个步骤的描述。
ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b 跑完mmlu要2~3小时。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
