检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加多个用户。 请根据界面提示，填写必选参数，然后单击“下一步”。 在“加入用户组”步骤中，选择“用户组02”，然后单击“创建用户”。 系统将逐步创建好前面设置的2个用户。 父主题： 配置ModelArts基本使用权限
执行代码存放的OBS地址，默认值为空，名称固定为“customize_service.py”。推理代码文件需存放在模型“model”目录。该字段不需要填，系统也能自动识别出model目录下的推理代码。公共参数 source_job_id 否 String 来源训练作业的ID，模型是从训练作业产生
模型进行预测。 经典案例：在线服务预测报错MR.0105 出现其他情况，优先检查客户端和外部网络是否有问题。 以上方法均未解决问题，请联系系统管理员。 父主题： 服务预测
围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户关于OBS的所有权限和ModelArts的基础操作权限，请参见配置基础操作权限。 如果您需要对用户使用OBS和M
围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户关于OBS的所有权限和ModelArts的基础操作权限，请参见配置基础操作权限。 如果您需要对用户使用OBS和M
执行如下命令： workflow.release() 上述命令执行完成后，如果日志打印显示发布成功，则可前往ModelArts的Workflow页面中查看新发布的工作流，进入Workflow详情，单击“配置”进行参数配置。工作流相关的配置执行操作可参考如何使用Workflow。 基于rele
如果cuda相关运算设置的卡ID号在所选规格范围内，但是依旧出现了上述报错。可能是该资源节点中存在GPU卡损坏的情况，导致实际能检测到的卡少于所选规格。 处理方法 建议直接根据系统分卡情况下传进去的CUDA_VISIBLE_DEVICES去设置，不用手动指定默认的。 如果发现资源节点中存在GPU卡损坏，请联系技术支持处理。
针对openai的/v1/completions以及/v1/chat/completions两个非流式接口，请求体中可以添加可选参数"return_latency"，默认为false，如果指定该参数为true，则会在相应请求的返回体中返回字段"latency"，返回内容如下： pr
ineDistanceThreshold =0.99表示余弦相似度至少为99%，--inputShapes可将模型放入到netron官网中查看。 图1 benchmark对接结果输出示例图 为了简化用户使用，ModelArts提供了Tailor工具便于用户进行Benchmark精
day：搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyyyMMdd：搜索指定时间段内添加的样本，格式为“起始日期-结束日期”，查询天数不能超过30天。例如：“20190901-2019091501”表示搜索2019年9月1日至2019年9月15日期间的样本。 score
<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64> 表4 训练作业支持的AI引擎 工作环境 系统架构 系统版本 AI引擎与版本 支持的cuda或Ascend版本 TensorFlow x86_64
py替换成代码包中对应的文件。 图2 文件替换 可以使用find命令来查找diffusers源码包位置。 find / -name attention.py find / -name attention_processor.py 图3 查找diffusers源码包位置 找到具体位置后可以cp替换
如果在torchrun初始化分布式一致性协商阶段出现“RuntimeError：Socket Timeout”错误时，可以通过增加如下环境变量再次创建训练作业以查看torchrun初始化阶段的详细信息，进一步排查问题。 LOGLEVEL=INFO TORCH_CPP_LOG_LEVEL=INFO TO
install-sshd.ps1 添加环境变量：将“C:\Program Files\OpenSSH-xx”（路径中包含ssh可执行exe文件）添加到环境系统变量中。 重新打开CMD，并执行ssh，结果如下图即说明安装成功，如果还未装成功则执行5和6。 OpenSSH默认端口为22端口，开启防火墙22端口号，在CMD执行以下命令：
软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
&& \ chmod 770 /root && \ usermod -a -G root ma-user 其他现象，可以在已有的训练故障案例查找。 建议与总结 用户使用自定义镜像训练作业时，建议按照训练作业自定义镜像规范制作镜像。文档中同时提供了端到端的示例供用户参考。 父主题： 训练作业运行失败
包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
选择运行中的Notebook实例，单击实例名称，进入Notebook实例详情页面，单击“扩容”。 图2 Notebook实例详情页 设置待扩充的存储容量大小，单击“确定”。系统显示“扩容中”，扩容成功后，可以看到扩容后的存储容量。 图3 扩容 图4 扩容中 父主题： 管理Notebook实例
Server提供启动、停止、切换操作系统等管理手段，您可在ModelArts控制台上对资源进行管理。 表1 相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。
数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调。 LoRA微调训练 介绍如何进行LoRA微调训练。 父主题： 主流开源大模型基于Lite
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
