检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
-learning”也请替换为自定义的值。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。
用。 开发者可以通过浏览器入口一Notebook方式访问，也可以通过VSCode远程开发的模式直接接入到云上环境中完成迁移开发与调测，最终生成适配昇腾的推理应用。 当前支持以下两种迁移环境搭建方式： ModelArts Standard：在Notebook中，使用预置镜像进行。 ModelArts
训练得到模型之后，整个开发过程还不算结束，需要对模型进行评估和考察。经常不能一次性获得一个满意的模型，需要反复的调整算法参数、数据，不断评估训练生成的模型。 一些常用的指标，如准确率、召回率、AUC等，能帮助您有效的评估，最终获得一个满意的模型。 部署模型 模型的开发训练，是基于之前的
“数据集输入位置”：AI Gallery的数据集下载到OBS的路径，此位置会作为数据集的数据存储路径，数据集输入位置不能和输出位置相同。 “名称”默认生成“data-xxxx”形式的数据集名称，该数据集将同步在ModelArts数据集列表中。 “描述”可以添加对于该数据集的相关描述。 图2 下载数据集（至ModelArts）
桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录，无需用户创建 |── AscendSpeed # 代码目录
桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录，无需用户创建 |── AscendSpeed # 代码目录
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
用于角色区分，模型训练的内容只有text指代的文本。 单击下载，获取示例数据集“simple_moss.jsonl”，该数据集可以用于文本生成类型的模型调优。 xlsx和csv格式 表格里的一行数据就是一条样本。表格中仅有3个字段：conversation_id、human和assistant。
iffusion_checkpoint_to_onnx.py脚本中，可以通过执行以下命令生成onnx模型，其中model_path指定pytorch的模型根目录，output_path指定生成的onnx模型目录。 cd /home_host/work python diffuse
benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──benchmark_eval
AI应用页签的背景图展示在AI应用列表。建议使用16：9的图片，且大小不超过7MB。 如果未上传图片，AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍，AI应用创建后，将展示在AI应用页签上，方便其他用户了解与使用。 支持0~100个字符。 参
查看数据集资产发布信息 在数据集列表中，单击某个数据集名称进入数据集详情页。选中右上角“发布 > 资产发布列表”，可以查看资产发布记录。 发布成功后，会生成资产链接，用户可以单击链接跳转到资产的详情页面。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时，可以执行如下步骤进行删除。
调用接口需要进行APP鉴权，在创建APP应用时自动生成“AppKey/AppSecret”，您可以在“在线服务授权管理”对话框中单击APP应用操作列的查看完整的AppSecret。单击应用名称前方的展开下拉列表，通过单击“添加AppCode”自动生成“AppCode”，您可以单击操作列的查看完整的AppCode。
您可以单击训练作业名称，进入详情页面，了解训练作业的“配置信息”、“日志”、“资源占用情况”和“评估结果”等信息。您也可以在配置的“训练输出位置”对应的OBS目录下获得训练生成的模型。 步骤4：创建AI应用 在训练作业详情页的右上角单击“创建AI应用”，进入创建AI应用页面。 也可以在ModelArts管理控制台，选择“资产管理
决。 在训练详情页左下方单击训练输出路径，如图4所示，跳转到OBS目录，查看是否存在model文件夹，且model文件夹中是否有生成训练模型。如果未生成model文件夹或者训练模型，可能是训练输入数据不完整导致，请检查训练数据上传是否完整，并重新训练。 图4 训练输出路径 步骤五：推理部署
单击“添加授权”后，系统会引导您为特定用户或所有用户进行委托配置，通常默认会创建一个名为“modelarts_agency_<用户名>_随机ID”的委托条目。在权限配置的区域，您可以选择ModelArts提供的预置配置，也可以自定义选择您所授权的策略。如果这两种形态对于您的诉求
推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
单击“添加授权”后，系统会引导您为特定用户或所有用户进行委托配置，通常默认会创建一个名为“modelarts_agency_<用户名>_随机ID”的委托条目。在权限配置的区域，您可以选择ModelArts提供的预置配置，也可以自定义选择您所授权的策略。当然如果这两种形态对于您的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
