检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。 容量 PB级别 EB级别 TB级别 时延 3~10ms 10ms 亚毫秒级 IOPS/TPS 单文件系统 10K 千万级
资源池的主资源id,通常提供给cbc使用。 os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表6 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description
资源池的主资源id,通常提供给cbc使用。 os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表6 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description
如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用 version_id String
户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内网不互通。通过在不同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用区(AZ)是一个或多个物理数据中心的集合,有独立的风火水电,AZ
如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用 version_id String
dSpore/Image/PyTorch。 model_size Long 模型大小,单位为字节数。 tenant String 模型归属租户。 project String 模型归属项目。 owner String 模型归属用户。 create_at Long 模型创建时间,距'1970
model_name String 模型名称。 tenant String 模型所属租户的账号id。 model_docs Array of GuideDoc objects 模型文档列表。 owner String 模型所属租户的用户id。 execution_code String 执行代码存
清理能力。工作空间组件可以将ModelArts各类资源整合,以工作空间体现给企业项目管理服务。 工作空间支持3种访问控制: PUBLIC:租户(主账号和所有子账号)内部公开访问。 PRIVATE:仅创建者和主账号可访问。 INTERNAL:创建者、主账号、指定IAM子账号可访问当
="True"”,启动时会增加该参数。 PyTorch-GPU框架启动原理 单机多卡场景下平台会为启动文件额外拼接 --init_method "tcp://<ip>:<port>" 参数。 多机多卡场景下平台会为启动文件额外拼接 --init_method "tcp://<ip>:<port>"
证方式的地址, 对header的组织也不同,具体如下: IAM/AKSK认证方式:需要在header的X-Auth-Token字段上填入该租户在该region的domain级别的token。具体指导参见连接:获取IAM用户Token。 APP认证的方式:APP认证方式又可以细分为AppCode认证和APP签名认证。
默认呈现选择的模型。 Qwen2-7B 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 公共资源池 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 xxx 流量限制(QPS) 设置待部署模型的流量限制QPS。
auth_type 否 String 授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。 PUBLIC:租户内部公开访问。 PRIVATE:仅创建者和主账号可访问。 INTERNAL:创建者、主账号、指定IAM子账号可访问,需要与grants参数配合使用。
资源池的主资源id,通常提供给cbc使用。 os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表13 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description
如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用 version_id String
--distributed-executor-backend:多卡推理启动后端,可选值为"ray"或者"mp",其中"ray"表示使用ray进行启动多卡推理,"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 高阶参数说明: --enable-prefi
--distributed-executor-backend:多卡推理启动后端,可选值为"ray"或者"mp",其中"ray"表示使用ray进行启动多卡推理,"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 --enforce-eager:未设置INF
推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示: 图1 推理服务访问公网 步骤一:ModelArts专属资源池打通VPC
功能添加用户,并配置授权。如果指定的子用户没有在用户组中,也可以通过“用户组管理”功能增加用户。 在用户的委托授权中同步增加此策略,避免在租户面通过委托token突破限制。 在统一身份认证服务页面的左侧导航中选择委托,找到该用户组在ModelArts上使用的委托名称,单击右侧的“
dSpore/Image/PyTorch。 model_size Long 模型大小,单位为字节数。 tenant String 模型归属租户。 project String 模型归属项目。 owner String 模型归属用户。 create_at Long 模型创建时间,距'1970