检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
下载数据 在AI Gallery中，您可以下载满足业务需要的数据集。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据。 下载数据集 登录“AI Gallery”。 选择“资产集市 > 数据集”，进入数据页面，该页面展示了所有共享的数据集。 搜索业务所需的数据集，请参见查找和收藏资产。
费项包括存储空间和流量费用，目前均免费提供给您。企业版支持按需计费模式。 购买的SWR可以用于上传自定义镜像。 使用容器引擎客户端上传镜像 对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式，用户可以根据实际需求购买OBS服务。 OBS服务支持以下两种存储方式，单
py”把lora模型合入unet和text-encoder模型。 数据类型不匹配问题如何处理？ 报错“data type not equal”时，按照堆栈信息，将对应的行数的数据类型修改为匹配的类型。 图1 报错信息 处理该问题时，pipeline_onnx_stable_diffusion_img2img_mslite
报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决？ 问题现象 或 原因分析 Notebook实例重新启动后，公钥发生变化，OpenSSH核对公钥发出警告。 解决方法 在VS Code中使用命令方式进行远程连接时，增加参数"-o
Standard开发平台的训练作业、部署模型以及开发环境时，通过Standard弹性集群的计算资源进行实例下发。 Lite弹性集群面向k8s资源型用户，提供托管式k8s集群，并预装主流AI开发插件以及自研的加速插件，以云原生方式直接向用户提供AI Native的资源、任务等能力，用户可
）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过Notebook环境编辑 1_preprocess_data
）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过Notebook环境编辑 1_preprocess_data
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。 Decode阶段（增量推理）
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。 Decode阶段（增量推理）
1”命令延迟1分钟重启。 存储配置 开启存储配置开关，支持以下设置： 系统盘：显示系统盘的磁盘类型和大小。系统盘的磁盘类型支持本地盘和云硬盘（包括通用SSO、高IO和超高IO）。部分规格的系统盘仅支持本地盘。 容器盘：显示容器盘的存储类型、大小和数量。部分规格的容器盘存储类型支持手动设置，可以选择本地盘或云硬盘。
两个训练作业的模型都保存在容器相同的目录下是否有冲突？ ModelArts训练作业之间的存储目录相互不影响，每个环境之间彼此隔离，看不到其他作业的数据。 父主题： 查看作业详情
文件删除后不可恢复，请谨慎操作。 管理数据集可用范围 仅当发布数据集时，“可用范围”启用“申请用户可用”时，才支持管理数据集的可用范围。管理操作包含如何添加可使用资产的新用户、如何审批用户申请使用资产的请求。 添加可使用资产的新用户。 数据集发布成功后，如果数据集所有者要新增可使用资产的新用户，则可以在数据集详情页添加新用户。
XXXX的错误码，此时收到的response信息为模型服务返回的response信息，如果不符合预期，可以判断为模型服务返回的结果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入，从容器镜像中导入，从AI Gallery中获取等多种途径，对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下：
描述 name 否 String 工作流存储的名称。填写1-64位，只包含英文、数字、下划线（_）和中划线（-），并且以英文开头的名称。 type 否 String 工作流存储的类型，当前只支持obs。 path 否 String 统一存储的根路径，当前只支持OBS路径。 表7 WorkflowStep
推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。
File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，详细介绍可以参见并行文件系统。 在ModelArts运行态的Notebook容器中，采用动态挂载特性，将OBS对象存储模拟成本地文件系统。其本质是通过
开启“节点高级配置”开关后，支持设置实例的操作系统。 存储配置 部分规格支持“存储配置”开关，该参数默认关闭。 系统盘 打开“存储配置”开关后，可以看到每个实例默认自带的系统盘的磁盘类型、大小或数量。 部分规格没有携带系统盘，在创建专属资源池时支持设置系统盘的磁盘类型和大小。 容器盘 打开“存储配置”开关后，可以看
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
修改模型服务QPS 流量限制QPS是评估模型服务处理能力的关键指标，它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。因此，能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
