检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI Gallery的数据模块支持数据集的共享和下载。在AI Gallery的“数据”中，可以查找并下载满足业务需要的数据集。也可以将自己本地的数据集发布至AI Gallery中，共享给其他用户使用。 “资产集市 > 算法”：共享了算法。 AI Gallery的算法模块支持算法的共享和订阅。在AI
见表3。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
NAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。
NAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。
HuggingFace的权重路径。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参
of ModelDependencies objects 推理代码及模型需安装的包，默认为空。从配置文件读取，可不填。非模板参数 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页，选择“数据集文件”页签。单击操作列的“下载”，选择保存路径单击“确认”，即可下载文件到本地。 删除文件 在数据集详情页，选择“数据集文件”页签。单击操作列的“删除”，确认后即可将已经托管的文件从AI Gallery仓库中删除。 文件删除后不可恢复，请谨慎操作。
部署上线 部署服务时，需要注意为服务设置合适计算节点规格，防止服务因资源不足而过载或者资源过大而浪费。尽量避免在容器中监听其他端口，有本地内部需要访问的其他端口，监听在localhost上。避免通过环境变量传递敏感信息，需要通过加密组件进行加密后再通过环境变量配置。 部署在线
NAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。
HuggingFace的权重路径。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参
HuggingFace的权重路径。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参
HuggingFace的权重路径。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参
ssed_data_dir则需选中存放已处理好数据集的目录文件夹。 “输入”和“输出”中的获取方式全部选择为：超参。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置超参 单击“增加超参”，在增加的超参填写框中，按照表1表格中的配置进行填写。
登录OBS管理控制台，在ModelArts同一区域内创建桶。如果已存在可用的桶，需确保OBS桶与ModelArts在同一区域。 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。
仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在模型详情页，选择“模型文件”页签。单击操作列的“下载”，即可下载文件到本地。 删除文件 在模型详情页，选择“模型文件”页签。单击操作列的“删除”，确认后即可将已经托管的文件从AI Gallery仓库中删除。 文件删除后不可恢复，请谨慎操作。
WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务（SWR）。 使用镜像创建模型 登录ModelArts管理控制台，进入“ 模型管理”页面，单击“创建”，跳转至创建模型页面。
可视化的工作流运行方式。具体请参见什么是Workflow。 Standard的开发环境Notebook提供了云上JupyterLab环境和本地IDE插件，方便用户编写训练推理代码，并使用云上资源进行代码调试。具体请参见Notebook使用场景。 Standard的模型训练功能提供
"系统提示词（选填）", "tools": "工具描述（选填）" } ] 上传数据集至OBS 准备数据集，例如下载样例数据集或者在本地按照固定格式处理好自己的数据集。 在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。
NAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。
--build-arg BASE_IMAGE=${base_image} . 注意：nerdctl build 会去镜像仓库拉取镜像，不会直接使用本地镜像。构建前可以nerdctl pull拉取测试镜像是否能拉取成功。 <镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_1_ascend:20240606。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
