AI开发平台MODELARTS-创建Workflow训练作业节点:资源规格查询

时间:2024-11-28 20:08:33

资源规格查询

您在创建作业类型节点之前可以通过以下操作来获取该账号所支持的训练资源规格列表以及引擎规格列表:

  • 导包
    from modelarts.session import Session
    from modelarts.estimatorV2 import TrainingJob
    from modelarts.workflow.client.job_client import JobClient
  • session初始化
    # 如果您在本地IDEA环境中开发工作流,则Session初始化使用如下方式
    # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;
    # 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
    __AK = os.environ["HUAWEICLOUD_SDK_AK"]
    __SK = os.environ["HUAWEICLOUD_SDK_SK"]
    # 如果进行了加密还需要进行解密操作
    session = Session(
        access_key=__AK, # 账号的AK信息
        secret_key=__SK, # 账号的SK信息
        region_name="***", # 账号所属的region
        project_id="***" ,# 账号的项目ID
    )
    
    # 如果您在Notebook环境中开发工作流,则Session初始化使用如下方式
    session = Session()
  • 公共池查询
    # 公共资源池规格列表查询
    spec_list = TrainingJob(session).get_train_instance_types(session) # 返回的类型为list,可按需打印查看
    print(spec_list)
  • 专属池查询
    # 运行中的专属资源池列表查询
    pool_list = JobClient(session).get_pool_list() # 返回专属资源池的详情列表
    pool_id_list = JobClient(session).get_pool_id_list() # 返回专属资源池ID列表
    专属资源池规格ID列表如下,根据所选资源池的实际规格自行选择:
        1. modelarts.pool.visual.xlarge 对应1卡
        2. modelarts.pool.visual.2xlarge 对应2卡
        3. modelarts.pool.visual.4xlarge 对应4卡
        4. modelarts.pool.visual.8xlarge 对应8卡
  • 引擎规格查询
    # 引擎规格查询
    engine_dict = TrainingJob(session).get_engine_list(session) # 返回的类型为dict,可按需打印查看
    print(engine_dict)

support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0380.html