检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数，根据实际需要修改。
动的NPU卡数保持一致，默认为1。 --block-size：kv-cache的block大小，推荐设置为128。 --num-scheduler-steps: 默认为1，推荐设置为8。用于multi-step调度。每次调度生成多个token，可以降低时延。开启投机推理后无需配置该参数，否则会导致投机推理启动报错。
添加开发环境使用权限和依赖服务SWR权限。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，设置策略。 添加开发环境使用权限。 “策略名称”：设置自定义策略名称，例如：notebook。 “策略配置方式”：选择JSON视图。 “策略内容”：填入如下内容。 {
GP Vnt1裸金属服务器用PyTorch报错CUDA initialization:CUDA unknown error 问题现象 在Vnt1 GPU裸金属服务器（Ubuntu18.04系统），安装NVIDIA 470+CUDA 11.4后使用“nvidia-smi”和“nvcc
性。 编辑Notebook介绍 在Notebook详情页，单击“项目介绍”。 在基础设置中设置“许可证”、“语言”、“框架”、“任务类型”和“硬件资源”等信息。 单击“确定”。 编辑设置 基本设置 单击右侧的，可以更改Notebook名称和描述。 编辑完成之后单击“确定”。 关联资产
在目标服务右侧，单击操作列的“在线体验”，跳转到“模型体验”页面，在右上角单击“参数设置”，按需配置相关参数，即可开始问答体验。操作指导请参见在MaaS体验模型服务。 表1 参数设置 参数 说明 温度/Temperature 设置推理温度。 数值较高，输出结果更加随机。 数值较低，输出结果更加集中和确定。
JupyterLab中文件保存失败，如何解决？ 问题现象 JupyterLab中保存文件时报错如下： 原因分析 浏览器安装了第三方插件proxy进行了拦截，导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因，是否有连接网络代理。
在ModelArts管理控制台，使用创建好的模型部署为在线服务。 登录云监控服务CES管理控制台，设置ModelArts服务的告警规则并配置主题订阅方式发送通知。具体操作请参考设置告警规则。 当配置完成后，在左侧导航栏选择“云服务监控 > ModelArts”即可查看在线服务的请求情况和资源占用情况，如下图所示。
16,32 # 设置动态分档的档位，根据实际情况设置，另外请不要设置档位1(DeepSeek V2 236B W8A8 模型建议最大设置4个档位) export VLLM_ENGINE_ITERATION_TIMEOUT_S=1500 # 设置vllm请求超时时间(DeepSeek
在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，需要设置两条策略。 策略1：设置查看Notebook所有实例，如图1所示，单击“确定”。 “策略名称”：设置自定义策略名称，例如：查看Notebook所有实例。 “策略配置方式”：选择可视化视图。
添加部署上线使用权限。在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，设置策略。 添加部署上线使用权限。 “策略名称”：设置自定义策略名称，例如：service。 “策略配置方式”：选择JSON视图。 “策略内容”：填入如下内容。 {
16,32 # 设置动态分档的档位，根据实际情况设置，另外请不要设置档位1(DeepSeek V2 236B W8A8 模型建议最大设置4个档位) export VLLM_ENGINE_ITERATION_TIMEOUT_S=1500 # 设置vllm请求超时时间(DeepSeek
&& useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user 明确设置镜像的启动命令。在dockerfile文件中指定cmd，dockerfile指令示例如下： CMD sh /home/mind/run.sh
订阅算法不支持另存为算法。 重建训练作业 当对创建的训练作业不满意时，您可以单击操作列的重建，重新创建训练作业。在重创训练作业页面，会自动填入上一次训练作业设置的参数，您仅需在原来的基础上进行修改即可重新创建训练作业。 停止训练作业 在训练作业列表中，针对“创建中”、“等待中”、“运行中”的训练作
冗余实例数：此规格设置的高可用冗余实例数量。冗余系数指的是冗余节点分布策略为step均分时，每个超节点内预留的冗余节点数量。 方式二：在资源池详情页的规格页签设置 图2 规格页签设置 图3 设置高可用冗余能力 方式三：在扩缩容页面设置 图4 设置高可用冗余能力 设置单节点为高可用冗余节点
在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，需要设置两条策略。 策略1：设置查看Notebook所有实例，如图1所示，单击“确定”。 “策略名称”：设置自定义策略名称，例如：查看Notebook所有实例。 “策略配置方式”：选择可视化视图。
执行一次完整投机流程的时间也仅为大模型的1.5倍左右（投机步数设置为3步）。而这一次投机流程，平均可以生成3个有效token，即用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。
按需选择计算规格。单击“选择”，在弹窗中选择资源规格并设置运行时长控制，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据，AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”，用户可以基于业务需要选择任务所需的资源卡数。
Turbo存储加速的具体方案请查看： 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts Standard中创建训练作业时，设置训练“SFS Turbo”，在“文件系统”中选择SFS Turbo实例名
按需选择计算规格。单击“选择”，在弹窗中选择资源规格并设置运行时长控制，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据，AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”，用户可以基于业务需要选择任务所需的资源卡数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
