检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--port=8080 参数说明： --model：模型地址，模型格式是Huggingface的目录格式。 --tensor-parallel-size：并行卡数。 --gpu-memory-utilization：0~1之间的float，实际使用的显存是系统读取的最大显存*gpu-memory-utilization。
ModelArts支持使用ECS创建专属资源池吗？ 不支持。创建资源池时，只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源，但是无法使用账号下购买的ECS，作为ModelArts专属资源池。 父主题： Standard资源池
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 storage_type 否 String 挂载类型sfs_turbo极速文件系统挂载。
添加多个用户。 请根据界面提示，填写必选参数，然后单击“下一步”。 在“加入用户组”步骤中，选择“用户组02”，然后单击“创建用户”。 系统将逐步创建好前面设置的2个用户。 父主题： 配置ModelArts基本使用权限
进入“下载详情”页面，填写下述参数。 下载方式：选择“ModelArts数据集”。 图1 下载数据集 目标区域：华北-北京四。 数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输出位置：用来存放输出的数据标注的相关信息，或版本发布生成的Manifest
如何打开ModelArts开发环境的Terminal功能？ 如何在Notebook中安装外部库？ 如何获取本机外网IP？ 如何解决“在IOS系统里打开ModelArts的Notebook，字体显示异常”的问题？ Notebook有代理吗？如何关闭？ 在Notebook中添加自定义IPython
Code开发环境中显示Notebook实例详情页，单击“连接”，系统自动启动该Notebook实例并进行远程连接。 图9 查看Notebook实例详情页 第一次连接Notebook时，系统右下角会提示需要先配置密钥文件。选择本地密钥pem文件，根据系统提示单击“OK”。 图10 配置密钥文件 单击
- image: swr.xxxxxx.com/xxxx/custom_pytorch_npu:v1 # 镜像地址，根据实际场景修改 imagePullPolicy: IfNotPresent name:
选择需要发布的数据集。 许可证类型 根据业务需求和数据集类型选择合适的许可证类型。 单击许可证类型后面的感叹号可以查看许可证详情。 说明： 部分许可证网站说明地址是海外网站，用户可能会因网络限制无法访问。 谁可以看 设置此数据集的公开权限。可选值有： “公开”：表示所有使用AI Gallery的用户都可以查看且使用该资产。
模型存放路径，AI Gallery的模型仓库地址，包含模型仓库的所有文件。 “/home/ma-user/.cache/gallery/model/ur12345--gpt2” ENV_AG_DATASET_DIR 数据集存放路径，AI Gallery的数据集仓库地址，包含数据集仓库的所有文件。
1、权限控制 通用的计算节点规格是未做权限控制的，如modelarts.vm.cpu.2u，只要资源池有资源，就可以选择使用。一些特殊的规格需要联系系统管理员增加权限。 2、公共资源池的规格无法选择 共享池的资源是有限的，显示置灰表示当前规格的资源已经被用完。请选择未置灰的规格，也可以创建自己的专属资源池。
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
“数据集输出位置”建议选择一个空目录。 “数据集输出位置”不支持OBS并行文件系统下的路径，请选择OBS对象桶。 高级特征选项-按标签导入 默认关闭，可通过勾选高级选项提供增强功能。 如“按标签导入”：系统将自动获取此数据集的标签，您可以单击“添加标签”添加相应的标签。此字段为可选
<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64> 表4 训练作业支持的AI引擎 工作环境 系统架构 系统版本 AI引擎与版本 支持的cuda或Ascend版本 TensorFlow x86_64
\ --trust-remote-code 推理服务基础参数说明如下： -model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。
线和下划线。同时'default'为系统预留的默认工作空间名称，用户无法自己创建名为'default'的工作空间。 description String 工作空间描述，默认为空。长度限制为0-256字符。 id String 工作空间ID，系统生成的32位UUID，不带橫线。 status
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
