检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关于数据集文件的格式及配置，请参考data/README_zh.md的内容。可以使用HuggingFace/ModelScope上的数据集或加载本地数据集。 上传自定义数据到指定目录 将下载的原始数据存放在{work_dir}/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。具体步骤如下：
"manifest_path" : "/test-obs/classify/output/dataset-f9e8-gfghHSokody6AJigS5A/annotation/V003/V003.manifest", "data_path" : "/test-obs/classify/outp
alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma
完成镜像构建后，将镜像注册至华为云容器镜像服务SWR中，用于后续在ModelArts上部署推理服务。 使用适配后的镜像在ModelArts部署在线推理服务。 在obs中创建model目录，并将triton_serving.sh文件和llama_7b文件夹上传至model目录下，如下图所示。
info”，完整输出下图内容则为正常。 如果命令未按照下图完整输出（比如命令报错或只输出了上半部分没有展示下面的进程信息），则需要先尝试恢复npu-smi工具（提交工单联系华为云技术支持），将npu-smi恢复后，再进行新版本的固件驱动安装。 图6 检查npu-smi工具 工具检查正常后，进行固件和驱动安装。 固件和驱动安装时，注意安装顺序：
ModelArts.3551：到obs检查输入数据目录是否存在，如果不存在，请按照实际需要创建obs目录；如果检查发现目录存在，但依然报同样的错，可以提工单申请技术支持 ModelArts.3567：用户只能访问自己账号下的obs目录，ModelArts在读取其他用户obs下的数据时，需要用户
{image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevServer机器中。
PyTorch版本根据训练要求选择。 代码目录 选择OBS桶中训练code文件夹所在路径，例如“obs://test-modelarts/code/”。 启动文件 选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。
alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-
JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))], spec=wf.steps.JobSpec( resource=wf
订阅或购买主要是获取AI资产的使用配额和使用权，支持在配额定义的约束下，有限地使用AI资产。 使用AI资产时，可能需要消耗硬件资源，硬件资源费用将根据实际使用情况，由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产，如果不需要在资产列表中展示该资产，可以将资产下架。下架后，已发布资产仅发布
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数，用于构建实际处理数据的handler对象，并根据handler对象对数据集进行解析。文件路径在：ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
登录ModelArts控制台，进入“数据管理 > 数据集 ”，单击“创建数据集”，如果可以成功访问对应的OBS路径，表示用户有OBS权限。如果没有OBS权限，请执行2配置OBS权限。 如没有OBS权限，请配置OBS权限配置。 父主题： PyCharm Toolkit使用
cloud_patch/models/falcon2/ 复制config.json文件至加载的权重文件/tokenizer目录下，参考路径上传代码和权重文件到工作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/
txt # 第三方依赖 ├── service_predict.py # 发送请求的服务 上传精度测试代码到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchm
目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmar
日志提示“Please set the train_url to an empty obs directory” 问题现象 日志提示“Please set the train_url to an empty obs directory”。 原因分析 对于不支持断点训练的模型，若选择训练输出路径不是空目录，会出现该报错。
ModelArts标注完样本集后，如何保证退出后不再产生计费？ 标注样本集本身不计费，数据集存储在OBS中，收取OBS的费用。建议您前往OBS控制台，删除存储的数据和OBS桶，即可停止收费。 父主题： 计费相关
data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory")),# CreateDatasetStep的输入，数据在运行时进行配置；data字段也可使用wf.data.OBSPath(obs_pat
在ModelArts中如何查看OBS目录下的所有文件？ 在使用Notebook或训练作业时，需要查看目录下的所有文件，您可以通过如下方式实现： 通过OBS管理控制台进行查看。 使用当前账户登录OBS管理控制台，去查找对应的OBS桶、文件夹、文件。 通过接口判断路径是否存在。在已有
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
