检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径；如果是AI Gallery仓库内的地址，则填写相对路径。 同时，还需要在“模型文件”添加gallery_train文件夹，文件夹内容参考表2。 表2 gallery_train文件列表 文件类型 文件说明 “train_params.json” 必选文件，训练参数文件，定义
10.2与低版本GPU驱动（440.33以下）配合使用时，可能会出现兼容问题，此时需要使用CUDA Compatibility。在创建训练页面添加以下环境变量： export LD_LIBRARY_PATH=/usr/local/cuda/compat 训练时默认不需要加此环境变量，仅当发现驱动版本不够时才使用此方法。
模型服务的API与vLLM相同，表1仅介绍关键参数，详细参数解释请参见vLLM官网Sampling Parameters。使用昇腾云909镜像的模型，开启流式输出时，需要新增stream_options参数，值为{"include_usage":true}，才会打印token数。 表1 请求参数说明
离线训练安装包准备说明 申请的模型软件包一般依赖连通网络的环境。若用户的机器或资源池无法连通网络，并无法git clone下载代码、安装python依赖包的情况下，用户则需要找到已联网的机器（本章节以Linux系统机器为例）提前下载资源，以实现离线安装。用户可遵循以下步骤操作。 步骤一：资源下载
此时，该用户组下的所有用户均有权限通过Cloud Shell登录运行中的训练作业容器。 如果没有用户组，也可以创建一个新的用户组，并通过“用户组管理”功能添加用户，并配置授权。如果指定的子用户没有在用户组中，也可以通过“用户组管理”功能增加用户。 使用Cloud Shell 参考前提条件：给子账号配置允许使用Cloud
配置NPU环境时增加需要开启的高阶配置参数。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。 export USE_VOCAB_PARALLEL=1 关闭词表切分的命令： unset USE_VOCAB_PARALLEL
select：单选下拉列表 values Array of LabelAttributeValue objects 标签属性值列表。 表8 LabelAttributeValue 参数 参数类型 描述 id String 标签属性值ID。 value String 标签属性值。 表9 LabelProperty
离线训练安装包准备说明 在华为公有云平台，申请的资源一般要求连通网络。因此用户在准备环境时可以运行 scripts/install.sh 直接下载安装资源，或通过 Dockerfile 下载安装资源并构建一个新的镜像。 若用户的机器或资源池无法连通网络，并无法git clone下
推理代码（keras接口和tf接口） 在模型代码推理文件customize_service.py中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如请参考表1。本案例中调用父类“_inference(self, data)”推理请求方法，因此下文代码中不需要重写方法。
进行查看。 方便用户更清楚的了解创建模型过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 事件类型 事件信息（“XXX”表示占位符，以实际返回信息为准） 解决方案 正常 开始导入模型。 Start model import. - 异常 构建镜像失败。 Failed
0.6 PyTorch版本：2.2.0 Python版本：3.10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 Template 支持模型参数量 权重文件获取地址 Llama2 llama2 llama2-7b
ASCEND_GLOBAL_LOG_LEVEL=1 # 0：表示DEBUG、1：表示INFO、2：表示WARNING、3：表示ERROR 4: 表示NONE export ASCEND_SLOG_PRINT_TO_STDOUT=1 # 表示日志打印。 设置DUMP模型转换中间图。 设置DUMP中间图环境变量。
来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”，表示30分钟内进程IO无变化则判定作业卡死。如果需要修改卡死检测时间，则可以修改环境变量“MA_HANG_DETECT_TIME”的值，具体操作指导请参见管理训练容器环境变量。
</box>。 对于带图像输入的内容可表示为Picture id: <img>img_path</img>\n{your prompt}，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。 对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>，其中
conditions 条件列表，列表中的多个Condition执行“逻辑与”操作 是 Condition或者Condition的列表 if_then_steps 条件表达式计算结果为True时，执行的step列表 否 str或者str列表 else_then_steps 条件表达式计算结果为False时，执行的step列表
Notebook 界面提示成功创建分享后，返回至AI Gallery，进入示例的详情页面查看示例。 进入AI Gallery首页。选择“项目”，进入项目列表页面。 在搜索框中输入创建好的Notebook名称，单击页签进入详情页。 编辑资产详情 资产发布成功后，发布者可以进入详情页修改该资产的名称
服务调度配置，仅在线服务可配置，默认不使用，服务长期运行。请参见表6。 cluster_id 否 String 旧版专属池id，默认为空，当配置cluster_id时，表示将服务部署到旧版专属资源池中。 pool_name 否 String 新版专属池名称。 表3 predictor configs结构
读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。 训练作业读取文件，出现如下报错： NotFoundError (see above for traceback):
Size([63992, 4096]). 需要在训练开始前，修改llm_train/AscendSpeed/yi/3_training.sh文件，并添加--tokenizer-not-use-fast参数。修改后如图1所示。 图1 修改Yi 模型3_training.sh文件 ChatGLMv3-6B
Size([63992, 4096]). 需要在训练开始前，修改llm_train/AscendSpeed/yi/3_training.sh文件，并添加--tokenizer-not-use-fast参数。修改后如图1所示。 图1 修改Yi 模型3_training.sh文件 ChatGLMv3-6B
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
