正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
model 是 无 Str 通过OpenAI服务API接口启动服务时,推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时,推理请求不涉及此参数。 prompt 是 - Str 请求输入的问题。
aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net
文本处理时的最大长度,此处为4096,用户可根据自己要求适配。 packing true 可选项。当选用静态数句长度时,可将不足于文本处理时的最大长度数据弥补到文本处理时的最大长度;当选用动态数句长度则去掉此参数。 deepspeed examples/deepspeed/ds_z3_config.json
parquet 如果在准备数据章节已下载数据集,此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集,数据处理一次即可,训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data
使用主用户的账号登录ModelArts服务管理控制台。请注意选择左上角的区域,例如“华南-广州”。 在左侧导航栏单击“权限管理”,进入“权限管理”页面。 单击“添加授权”。在“授权”页面,在“授权对象类型”下面选择“所有用户”,选择“新增委托 ”,为该主用户下面的所有子账号配置委托访问授权。 普通用户
以创建子账号并加入用户组。 创建子用户账号并加入用户组。在IAM左侧菜单栏中,选择“用户”,单击右上角“创建用户”,在“创建用户”页面中,添加多个用户。 请根据界面提示,填写必选参数,然后单击“下一步”。 在“加入用户组”步骤中,选择“用户组02”,然后单击“创建用户”。 系统将逐步创建好前面设置的2个用户。
在部署为在线服务时,您可以开启支持APP认证功能。或者针对已部署完成的在线服务,您可以修改服务,开启支持APP认证功能。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署 > 在线服务”,进入在线服务管理页面。 开启支持APP认证功能。 在部署为在线服务时,即“部署”页
Condition或者Condition的列表 if_then_steps 条件表达式计算结果为True时,执行的step列表 否 str或者str列表 else_then_steps 条件表达式计算结果为False时,执行的step列表 否 str或者str列表 title title信息,主要用于前端节点的名称展示
model 是 无 Str 通过OpenAI服务API接口启动服务时,推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时,推理请求不涉及此参数。 prompt 是 - Str 请求输入的问题。
/home/ma-user/work/envs/user_conda/sfs-new-env 添加新创建的虚拟环境到conda env。 # shell conda config --append envs_dirs /home/ma-
创建分布式并行模型,每个进程都会有相同的模型和参数。 创建数据分发Sampler,使每个进程加载一个mini batch中不同部分的数据。 网络中相邻参数分桶,一般为神经网络模型中需要进行参数更新的每一层网络。 每个进程前向传播并各自计算梯度。 模型某一层的参数得到梯度后会马上进行通讯并进行梯度平均。 各GPU更新模型参数。
法一进行上传) 图16 文件夹直接上传至Notebook 当数据集比较大达到数GB时,建议先将数据集先上传至OBS再通过OBS上传至Notebook,PyCharm只适合做小文件的同步上传。 调试时建议使用较小的数据集子集,方便数据同步与数据加载。 配置云端Python解释器。
“自动停止” 默认开启,且默认值为“1小时”,表示该Notebook实例将在运行1小时之后自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Not
设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时,需填写“数据集名称”和“数据集版本”;设置为“OBS目录”时,需填写正确的OBS路径。 图2 输入输出设置-数据集 图3 输入输出设置-OBS目录 确认参数填写无误后,单击“创建”,完成数据处理任务的创建。
通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。 父主题: 业务代码问题
参数填写完成后,单击“立即创建”。页面自动跳转至AI应用列表页面,等待创建结果,预计2分钟左右。 当AI应用的状态变为“正常”时,表示创建成功。 步骤5:部署为在线服务(CPU) AI应用创建成功后,可将其部署为在线服务,在部署时可使用CPU资源。 单击AI应用名称左侧的单选按钮,在列表页底部展开“版本列表”,在版本的操作列中单击“部署
MANAGED:托管,即资源在服务上。 DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 status String EVS扩容状态,扩容时的状态为RESIZING,此时实例可以正常使用。 表11 user 参数 参数类型 描述 domain domain
MANAGED:托管,即资源在服务上。 DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 status String EVS扩容状态,扩容时的状态为RESIZING,此时实例可以正常使用。 表11 user 参数 参数类型 描述 domain domain
String 专属资源池ID,若需要指定专属资源池创建实例时必填,示例:pool41664192。 volume 是 VolumeReq object 存储配置。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
gelu小算子使用torch的fast_gelu()、gelu()融合算子替换。 图6 融合算子替换 profiling数据采集 在本例chatglm-6B中,添加profiling接口入口在ptuning/trainer.py的_inner_training_loop()下。具体采集方式参考Ascend