检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
snt9b，显存规格建议选择64G以上的规格，磁盘规格建议选择500GB及以上。 创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，在Notebook调试环境中部署推理服务。 父主题： 准备工作
snt9b，显存规格建议选择64G以上的规格，磁盘规格建议选择500GB及以上。 创建完Notebook后，待Notebook状态变为“运行中”时，打开Notebook，可参考后续章节在Notebook调试环境中部署推理服务。 父主题： 准备工作
请检查您的模型是否能正常运行。例如模型依赖的资源是否故障，需要排查推理日志。 实例pod数量异常 。 如果您曾经找过运维人员删除过异常的实例pod，事件中可能会出现告警“服务异常，不正常的实例数为XXX”。在出现这种告警后，服务会自动拉起新的正常实例，从而恢复到正常运行状态。请您耐心等待。 父主题：
NVML: Driver/library version mismatch 处理方法 执行命令：lsmod | grep nvidia，查看内核中是否残留旧版nvidia，显示如下： nvidia_uvm 634880 8 nvidia_drm
23:47:16.854775807，需注意上下界限。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接
ata_pre_proc=false) 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接
Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \ --quantized_model
Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \ --quantized_model
root@{container_id}:/# squid -k reconfigure 算法镜像：设置DNS代理和公网地址调用 设置代理 在代码中设置代理指向代理服务器私有IP和端口，如下所示： proxies = { "http": "http://{proxy_server_private_ip}:3128"
Protocol）的网络诊断工具，利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向规则中没有包含ICMP协议，就会出现ping不通的问题。 处理方法 在当前安全组的入方向规则中添加一条规则，基本协议选择ICMP协议，详细配置如下表所示，添加规则步骤请参考添加安全组规则。 表1
ContentInfo参数 参数 是否必选 参数类型 描述 content_id 是 String AI Gallery中数据集资产的ID。 version_id 是 String AI Gallery中数据集资产的版本ID。 表4 AnnotationConfig参数 参数 是否必选 参数类型 描述
Tensorflow分布式有多种执行模式，mox会通过4次执行50 step记录执行时间，选择执行时间最少的模型。 处理方法 创建训练作业时，在“运行参数”中增加参数“variable_update=parameter_server”来关闭Mox的warmup。 父主题： MoXing
Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让
Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \ --quantized_model
dit Training Configuration”，找到作业名称，单击右上角的减号并确认删除。 图2 删除配置信息 在弹出的确认对话框中，确认信息无误后，单击“是”删除对应配置信息。删除后您可以创建新的训练作业配置并提交训练作业。 父主题： PyCharm Toolkit使用
find /home/ma-user/anaconda3 -name modelarts.pth 执行如下命令删除用户使用的python环境中的modelarts.pth文件。 # /xxx/modelarts.pth 指用户通过第一步查出来的文件路径 rm -rf /xxx/modelarts
文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 5000 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务 plot_loss
3, 1, 2).contigous() 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接
软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.909软件包中的AscendCloud-AIGC-6.3.909-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E 说明： 如果上述软
--inputShape="input_ids:1,77" 在配置文件中指定输入shape。 配置文件中通过“[ascend_context]”配置项指定input_shape，格式与命令行一致，多个输入，需要使用“;”隔开；然后在命令行中通过--configFile指定对应的配置文件路径即可。 # text_encoder
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
