检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Notebook是Linux环境，和Windows环境下的换行格式不同，Windows下是CRLF，而Linux下是LF。 解决方法 可以在Notebook中转换文件格式为Linux格式。 shell语言： dos2unix 文件名 父主题： 代码运行故障
√ √ https://huggingface.co/huggyllama/llama-7b 2 llama-13b √ √ √ √ https://huggingface.co/huggyllama/llama-13b 3 llama-65b √ √ √ √ https://huggingface
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 父主题： 使用ModelArts Standard部署模型并推理预测
产品变更公告 网络调整公告
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性，目前只支持instance_count(更新模型服务实例数量)，仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
WebUI如何...。 AI推理应用运行在昇腾设备上一般有两种方式： 方式1：通过Ascend PyTorch，后端执行推理，又称在线推理。 方式2：通过模型静态转换后，执行推理，又称离线推理。 通常为了获取更好的推理性能，推荐使用方式2的离线推理。下文将以Diffusers img2img
业务场景 依赖的服务 委托授权项 说明 配置建议 在线服务 LTS lts:groups:create lts:groups:list lts:topics:create lts:topics:delete lts:topics:list 在线服务配置LTS日志上报。 按需配置。 批量服务
Gallery在线推理服务部署模型。 如果使用自定义镜像进行训练，操作步骤可以参考使用AI Gallery微调大师训练模型，其中“训练任务类型”默认选择“自定义”，且不支持修改。 如果使用自定义镜像进行部署推理服务，操作步骤可以参考使用AI Gallery在线推理服务部署模型，
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
其他任务类型的模型，其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义模型的使用流程 托管模型到AI Gallery。 模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。
当AI应用状态变为正常时，表示创建完成。 图6 AI应用创建完成 步骤五 部署服务 单击AI应用名称，进入AI应用详情页，单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称： 服务的名称，按照实际需要填写 是否自动停止：如果配置自动停止，服务会按照配置的时间自动停止。如果需要常驻的服务，建议关掉该按钮。
配置授权 功能介绍 配置ModelArts授权。若没有授权，ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。 两个过程可以相互转换。如开发阶段代码稳定后，则会进入实验阶段，通过不断尝试调整超参来迭代模型；或在实验阶段，有一个可以优化训练的性能的想法，则会回到开发阶段，重新优化代码。
√ √ https://huggingface.co/meta-llama/Llama-2-13b-chat-hf 6 llama2-70b √ √ √ √ √ https://huggingface.co/meta-llama/Llama-2-70b-hf https://huggingface
"Brainstorming" } 如果用户希望将 MOSS 数据集的 Excel 格式转换为，json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm
"Brainstorming" } 如果用户希望将 MOSS 数据集的 Excel 格式转换为，json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm
动态shape，并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题，因为CPU算子支持动态shape；而在昇腾场景上，算子需要指定具体的shape信息，并且在模型转换的编译阶段完成对应shape的编译任务，从而能够在推理时支持多种shape的输入。
获取yolov8 detection pt模型文件。下载地址：https://github.com/autogyro/yolo-V8 图1 下载yolov8 detection pt模型文件 pt模型转onnx模型。以转换yolov8n.pt为例，执行如下命令，执行完会在当前目录生成yolov8n
通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 访问在线服务支持的访问通道
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
