检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查找待授权的用户组名称，在右侧的操作列单击“授权”，勾选步骤2创建的两条自定义策略，单击“下一步”，选择授权范围方案，单击“确定”。 此时，该用户组下的所有用户均有权限查看该用户组内成员创建的所有Notebook实例。 如果没有用户组，也可以创建一个新的用户组，并通过“用户组管理
DELETE_FAILED：删除失败。 status_info String 状态描述，默认为空。该字段会补充显示状态的详细信息。如删除失败时，可通过该字段查看删除失败的原因。 grants Array of grants objects 授权用户列表。默认为空。需要与“auth_t
出现该问题的可能原因如下： 对应python包使用错误，该python包确实没有对应的变量或者方法 第三方pip源中的python包版本更新，导致在训练作业中安装的python包的版本可能也会发生变化。如训练作业之前无此问题，后面一直有此问题，则考虑是此原因。 处理方法 通过Notebook调试。
当使用API调用地址预测时，请求体的大小限制是12MB，超过12MB时，请求会被拦截。 使用ModelArts console的预测页签进行的预测，由于console的网络链路的不同，要求请求体的大小不超过8MB。 图2 请求报错APIG.0201 APIG.0301 鉴权失败 通过API进行服务预
单联系华为工程师开启节点绑定。 驱动升级操作 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”，进入“Standard资源池”页面。 在资源池列表中，选择需要进行驱动升级的资源池，在右侧的操作列，单击“ > 驱动升级”。 在“驱动
object 实例镜像信息。 lease Lease object 实例自动停止的倒计时信息。 name String 实例名称。 pool Pool object 专属池的基本信息，在专属池中创建的实例会返回该字段。 status String 实例状态。枚举值如下： INIT：初始化
企业项目id，指定此参数会只返回该企业项目id下的工作空间。默认显示所有工作空间。 name 否 String 工作空间名称查询参数，指定此参数会模糊查询该名称的工作空间。默认显示所有工作空间。 filter_accessible 否 Boolean 该参数用于筛选可访问的工作空间。指定该参数为tru
容时不可修改。用户通过增减“数量”来改变“目标总实例数”。 用户增加实例数量时，可以通过指定节点计费模式，为资源池新创建的节点设置不同于资源池的计费模式，例如用户可以在包周期的资源池中创建按需的节点。如果用户不指定该参数，创建的节点计费模式和资源池保持一致。 在“专属资源池扩缩容”页面，设置“资源配置
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0
将权重文件上传到Server机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考大模型训练相关文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下。
info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器
object API已授权的APP的基本信息。 表5 AppAuthApiAuthInfo 参数 参数类型 描述 api_id String API编号。 authed_apps Array of ApigAppDetailInfo objects API已授权的APP的基本信息。 表6 ApigAppDetailInfo
info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器
Prefill（Splitfuse）特性的目的是将长prompt request分解成更小的块，并在多个forward step中进行调度，只有最后一块的forward完成后才开始这个prompt request的生成。将短prompt request组合以精确填充step的空隙，每个step的计算量基本相等，达到所有请求平均延迟更稳定的目的。
strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
pip软件包版本不匹配，需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错：“exec /usr/bin/sh: exec format error”。 这种报错一般是因为所用镜像系统引擎和构建镜像的系统引擎不一致引起的，例如使用的是x86的镜像却标记的是arm的系统架构。 可以通过查看模
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
