检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AKG由三个基本的优化模块组成：规范化、自动调度和后端优化。 规范化： 为了解决polyhedral表达能力的局限性（只能处理静态的线性程序），需要首先对计算公式IR进行规范化。规范化模块中的优化主要包括自动运算符inline、自动循环融合和公共子表达式优化等。 自动调度： 自动调度模块基于po
5的专属资源池，其他版本会导致任务失败。当专属资源池的驱动版本不适配时，可以参考升级Standard专属资源池驱动升级驱动。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。MaaS服务可以使用ModelArts Standard形态下提供的公共资源池完成模型训推
参考自定义购买ECS。 购买时需注意，ECS需要和SFS买到同一个VPC才能挂载SFS存储。 购买ModelArts专属资源池 提供独享的计算资源，可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享，更加高效。在使用专属资源池之前，您需要先创建一个专属资源池，操作指导请参考创建专属资源池。
NOTEBOOK：计费规格实例。 billing_items Array of strings 计费资源类型。枚举值： STORAGE：存储资源计费。 COMPUTE：计算资源计费。 ALL：所有计费类型 user user object 账号信息 表5 JobProgress 参数 参数类型 描述 notebook_id
NOTEBOOK：计费规格实例。 billing_items Array of strings 计费资源类型。枚举值： STORAGE：存储资源计费。 COMPUTE：计算资源计费。 ALL：所有计费类型 user user object 账号信息 表5 JobProgress 参数 参数类型 描述 notebook_id
专属资源池需单独创建，不与其他租户共享。 公共资源池 规格 选择规格，规格中描述了服务器类型、型号等信息，仅显示模型支持的资源。 xxx 计算节点个数 当计算节点个数大于1，将启动多节点分布式训练。详细信息，请参见分布式训练功能介绍。 1 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。
储至OBS。 弹性云服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，您就可以像使用自己的本地PC或物理服务器一样，使用弹性云服务器。 在制作自定义镜像时，您可以在本地环境或者ECS上完成自定义镜像制作。
1000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数，训练过程将只使用指定数量的样本，而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache true 用于指定是否覆盖缓存。如果设置为"overwrite_cache"，则在训练过程中覆盖缓存
token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间
--image-feature-size：图片输入解析维度大小；llava-v1.6图片输入维度与image-feature-size关系映射表见git；计算原理如下： 最小处理单元为14*14 【llava1.5】 336*336图像 ==(336/14=24)>> 24*24=576 672*672图像
继续运行 当工作流运行至服务部署节点，状态为“等待输入”，在“输入”区域选择推理需要使用到的资源规格，完成后选择“继续运行”，等待服务部署完成。 计算节点规格：华北-北京四可支持限时免费的规格，但每个用户仅允许创建一个基于此免费规格的实例。 按需计费规格，使用完之后请及时停止Workflow，避免产生不必要的费用。
可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买ECS 创建镜像组织。 在SWR服务页面创建镜像组织。 图2 创建镜像组织 安装Docker。 检查docker是否安装。
键字、系统日志过滤能力。 预览 系统日志窗口提供训练日志预览功能，如果训练作业有多个节点，则支持查看不同计算节点的日志，通过右侧下拉框可以选择目标节点预览。 图4 查看不同计算节日志 当日志文件过大时，系统日志窗口仅加载最新的部分日志，并在日志窗口上方提供全量日志访问链接。打开该链接可在新页面查看全部日志。
--image-feature-size：图片输入解析维度大小；llava-v1.6图片输入维度与image-feature-size关系映射表见git；计算原理如下： 最小处理单元为14*14 【llava1.5】 336*336图像 ==(336/14=24)>> 24*24=576 672*672图像
py 中的 fix_id_list, 将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b
py 中的 fix_id_list, 将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity最小的序列所对应的选项即为这道题的推理结果。运行时间比较长，例如llama3_8b
可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买ECS Step2 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911版本。 说明：
场景的镜像中安装了与GPU驱动适配的CUDA（由英伟达推出的统一计算架构）计算库，Ascend-Powered-Engine引擎的镜像中安装了与Ascend驱动适配的CANN（华为针对AI场景推出的异构计算架构）计算库。 提交训练作业后，ModelArts Standard平台会自动运行训练作业的启动文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
