华为云用户手册

  • 计费示例 假设您在2023/03/08 15:50:04购买了一个包年/包月文件系统(类型:SFS Turbo通用型-标准型,容量:500 GiB),购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅供参考,实际计算请以弹性文件服务价格详情中的价格为准。
  • 到期后影响 图1描述了包年/包月SFS资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 图1 包年/包月SFS资源生命周期 到期预警 包年/包月SFS资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为账号的创建者。 到期后影响 当您的包年/包月SFS资源到期未续费,将进入宽限期,资源状态变为“已过期”。宽限期内您可以正常访问文件系统,但针对文件系统的部分操作将受到限制。 如果您在宽限期内仍未续费包年/包月SFS资源,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,如果包年/包月SFS资源仍未续费,那么文件系统将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
  • 变更配置后对计费的影响 当前包年/包月SFS资源的规格(类型、容量)不满足您的业务需要时,您可以在弹性文件服务控制台发起变更规格操作,如容量调整,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 升配费用=新配置价格*剩余周期-旧配置价格*剩余周期 剩余周期 = 每个自然月的剩余使用天数 / 对应自然月的最大天数 更多信息请参见变更资源规格费用说明
  • 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测:如果能预测到业务高峰期,如电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。
  • 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的弹性文件服务、包年/包月的弹性云服务器等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
  • 适用计费项 SFS容量型 默认为按需计费模式。即创建文件系统免费,按实际使用的存储容量和时长收费,以小时为单位,按每小时整点结算,不设最低消费标准。结算时,时长不足1小时的,按1小时计费。 表1 SFS容量型计费模型 计费项 计费说明 存储空间计费 文件系统所占用的存储空间容量和使用时长 通用文件系统 默认为按需计费模式。即创建文件系统免费,存储费用按实际使用的存储容量和时长收费,以小时为单位,按每小时整点结算,不设最低消费标准。结算时,时长不足1小时的,按1小时计费。读/写流量费用按已使用的读/写流量大小计费。 表2 通用文件系统计费模型 计费项 计费因子 计费说明 容量型 存储空间 根据文件系统所占用的存储空间容量和使用时长计费。 低频型 存储空间 根据文件系统所占用的存储空间容量和使用时长计费。 写流量 根据写流量大小计费。 读流量 根据读流量大小计费。 SFS Turbo文件系统 SFS Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中,HPC缓存型文件系统还可按带宽大小收费)。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。 表3 SFS Turbo 计费模型 计费项 计费因子 SFS Turbo 存储空间 HPC缓存型 存储空间 带宽大小
  • 变更配置后对计费的影响 如果您在购买按需计费资源后变更了资源规格,会产生一个新订单并开始按新规格的价格计费,旧订单自动失效。 如果您在一个小时内变更了资源规格,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同规格在该小时内的生效时间。 例如,您在9:00:00购买了一个按需计费的SFS Turbo 40MB/s/TiB文件系统,存储容量是500GB,并在9:30:00扩容为600GB,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,文件系统容量按照500GB计费。 第二条对应9:30:00 ~ 10:00:00,文件系统容量按照600GB计费。
  • 变更配置后对计费的影响 如果您在购买按需计费资源后变更了资源规格,会产生一个新订单并开始按新规格的价格计费,旧订单自动失效。 如果您在一个小时内变更了资源规格,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同规格在该小时内的生效时间。 例如,您在9:00:00购买了一个按需计费的SFS Turbo 40MB/s/TiB文件系统,存储容量是500GB,并在9:30:00扩容为600GB,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,文件系统容量按照500GB计费。 第二条对应9:30:00 ~ 10:00:00,文件系统容量按照600GB计费。
  • 适用计费项 SFS Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中,HPC缓存型文件系统还可按带宽大小收费)。以小时为单位,按每小时整点结算。结算时,时长不足1小时的,按1小时计费。 表1 SFS Turbo 计费模型 计费项 计费因子 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、标准型、标准型-增强版、性能型、性能型-增强版类型 存储空间 HPC缓存型 存储空间 带宽大小
  • 计费模式概述 高性能弹性文件服务提供包年/包月、按需计费两种计费模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于可预估资源使用周期的场景。 按需计费:一种后付费模式,即先使用再付费,按照实际使用时长计费。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照文件系统实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时计费。 适用计费项 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、标准型、标准型-增强版、性能型、性能型-增强版类型 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、标准型、标准型-增强版、性能型、性能型-增强版类型、HPC缓存型 变更计费模式 支持变更为按需计费模式。 但包年/包月资费模式到期后,按需的资费模式才会生效。 包年/包月转按需 支持变更为包年/包月计费模式。 按需转包年/包月 变更文件系统容量 支持变更文件系统容量。 不支持缩容。 支持扩容,扩容需要补差价。扩容后,文件系统到期时间不变。 支持变更文件系统容量。 不支持缩容。 支持扩容,根据扩容后的容量按需计费。 适用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。对于长期使用者,推荐该方式。 适用于计算资源需求波动的场景,可以随时开通,随时删除。 父主题: 计费模式
  • 成本优化 成本控制 企业可以在成本中心的“预算管理”页面创建精细粒度的预算来管理成本和使用量,在实际或预测超过预算阈值时,自动发送通知给指定消息接收人。企业还可以创建预算报告,定期将指定预算进展通知给指定消息接收人。 例如企业需要创建一个文件系统的按需成本预算,每月预算金额为2000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过 云监控服务 监控资源的使用情况,识别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。 监控闲置的资源,避免浪费。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务,使用按需计费模式。
  • 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 为文件系统选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行分类的标记。推荐企业使用预定义标签进行成本归集,具体流程如下: 图2 为文件系统添加标签 详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
  • 到期后影响 图1描述了包年/包月SFS Turbo资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;资源到期而未续费时,将陆续进入宽限期和保留期。 图1 包年/包月SFS Turbo资源生命周期 到期预警 包年/包月SFS Turbo资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为账号的创建者。 到期后影响 当您的包年/包月SFS Turbo资源到期未续费,将进入宽限期,资源状态变为“已过期”。宽限期内您可以正常访问文件系统,但针对文件系统的部分操作将受到限制。 如果您在宽限期内仍未续费包年/包月SFS Turbo资源,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,如果包年/包月SFS Turbo资源仍未续费,那么文件系统将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
  • 变更配置后对计费的影响 当前包年/包月SFS Turbo资源的规格(类型、容量)不满足您的业务需要时,您可以在高性能弹性文件服务控制台发起变更规格操作,如扩容,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 升配费用=新配置价格*剩余周期-旧配置价格*剩余周期 剩余周期 = 每个自然月的剩余使用天数 / 对应自然月的最大天数 更多信息请参见变更资源规格费用说明
  • 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测:如果能预测到业务高峰期,如电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。
  • 计费示例 假设您在2023/03/08 15:50:04购买了一个包年/包月文件系统(类型:标准型,容量:500 GiB),购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅供参考,实际计算请以高性能弹性文件服务价格详情中的价格为准。
  • 在费用中心续费 登录管理控制台。 单击“控制台”页面上方“费用”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图3 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图4 批量续费 选择文件系统的续费时长,判断是否勾选“统一到期日”,将文件系统到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图5 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。
  • 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的高性能弹性文件服务、包年/包月的弹性云服务器等,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
  • 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的资源包,单击操作列“开通自动续费”。 图3 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的资源包,单击列表左上角的“开通自动续费”。 图4 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图5 开通自动续费
  • 样例代码 使用Python方式提交数据分析任务,参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。 导入HAConnection类。 from pyhs2.haconnection import HAConnection 声明HiveServer的IP地址列表。本例中hosts代表HiveServer的节点,xxx.xxx.xxx.xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"] 如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。 try: with HAConnection(hosts = hosts, port = 21066, authMechanism = "PLAIN", user='root', password='******') as haConn: with haConn.getConnection() as conn: with conn.cursor() as cur: # Show databases print cur.getDatabases() # Execute query cur.execute("show tables") # Return column info from query print cur.getSchema() # Fetch table results for i in cur.fetch(): print i except Exception, e: print e
  • Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python3-examples -R。 在python3-examples/pyCLI_nosec.py中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认为21066。 Hive多实例的python客户端命令行形式:“python3-examples/pyCLI_nosec.py”不仅要修改host,还需根据所使用的实例修改port,port为Hive提供Thrift服务的端口(hive.server2.thrift.port)。 执行以下命令运行Python3客户端: cd python3-examples python pyCLI_nosec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如: [['default', '']] [{'comment': 'from deserializer', 'columnName': 'tab_name', 'type': 'STRING_TYPE'}] ['xx']
  • 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 用于开发Hive应用程序的工具。版本要求如下: JDK使用1.8版本,IntelliJ IDEA使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备 MRS 应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。 安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。 安装Python3 用于开发Hive应用程序的工具,版本要求不低于3.6,最高不超过3.8。 安装setuptools Python3开发环境的基本配置,版本要求为47.3.1。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。
  • 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 用于开发Hive应用程序的工具。版本要求如下: JDK使用1.8版本,IntelliJ IDEA使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。 安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。 安装Python3 用于开发Hive应用程序的工具,版本要求不低于3.6,最高不超过3.8。 安装setuptools Python3开发环境的基本配置,版本要求为47.3.1。 Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。
  • 创建压缩作业 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型压缩”进入作业列表。 单击“创建压缩作业”进入创建页面,完成创建配置。 表3 创建压缩作业 参数 说明 任务设置 任务名称 自定义压缩任务名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、中划线、下划线的名称。 描述 压缩任务简介。支持1000字符。 模型设置 来源模型 单击“选择模型”,选择“模型广场”或“我的模型”下面的模型。 压缩策略 SmoothQuant-W8A8:SmoothQuant是一种同时确保准确率与推理高效的训练后量化(PTQ)方法,W8A8可实现8-bit权重、8-bit激活(W8A8)量化,引入平滑因子来平滑激活异常值,将量化难度从较难量化的激活转移到容易量化的权重上。 AWQ-W4A16:AWQ是一种大模型低比特权重的训练后量化(PTQ)方法,W4A16可实现4-bit权重、16-bit激活(W4A16)量化,通过激活值来选择并放大显著权重,以提高推理效率。 压缩后模型名称 设置压缩后产生的新模型的名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、下划线(_)、中划线(-)和(.)。 参数设置 平滑系数/Migration Strength 设置SmoothQuant量化的迁移系数,仅“压缩策略”选择“SmoothQuant-W8A8”时才需要配置。建议使用默认值。 取值范围:0~1 默认值:0.5 压缩后模型权重保存路径 选择压缩后模型权重文件存放的OBS路径。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。 开关关闭(默认关闭):表示不永久保存日志,则任务日志会在30天后会被清理。可以在任务详情页下载全部日志至本地。 开关打开:表示永久保存日志,此时必须配置“日志路径”,系统会将任务日志永久保存至指定的OBS路径。 事件通知 选择是否打开“事件通知”开关。 开关关闭(默认关闭):表示不启用 消息通知 服务。 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。 “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 说明: 需要为消息通知服务中创建的主题添加订阅,当订阅状态为“已确认”后,方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用,详细信息请参见计费说明。 自动停止 当使用付费资源时,可以选择是否打开“自动停止”开关。 开关关闭(默认关闭):表示任务将一直运行直至完成。 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。 参数配置完成后,单击“提交”,在“计费提醒”对话框,确认模型压缩的信息和预计消耗费用无误后,单击“确定”创建压缩作业。 在作业列表,当模型“状态”变成“已完成”时,表示模型压缩完成。
  • 查看压缩作业信息 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型压缩”进入作业列表。 单击作业名称,进入压缩作业详情页面,可以查看作业详情和日志。 “详情”:可以查看作业的基本信息,包括作业、模型、资源等设置信息。 “日志”:可以搜索、查看和下载作业日志。
  • 模型压缩时长估算 表4 模型压缩时长估算 模型名称 SmoothQuant-W8A8 AWQ-W4A16 Llama2-13B 5~10分钟 60分钟 Llama2-70B 20~30分钟 3小时 Llama2-7B 5~10分钟 40分钟 Llama3-70B 20~30分钟 3小时 Llama3-8B 5~10分钟 40分钟 Qwen1.5-14B 5~10分钟 60分钟 Qwen1.5-72B 20~30分钟 3小时 Qwen1.5-7B 5~10分钟 40分钟 Qwen2-72B 20~30分钟 - Qwen2-72B-1K 20~30分钟 - Qwen2.5-72B 40分钟 - Qwen2.5-32B 20~30分钟 2小时
  • 约束限制 表2列举了支持模型压缩的模型,不在表格里的模型不支持使用MaaS压缩模型。 表2 支持模型压缩的模型 模型名称 SmoothQuant-W8A8 AWQ-W4A16 Llama2-13B √ √ Llama2-70B √ √ Llama2-7B √ √ Llama3-70B √ √ Llama3-8B √ √ Qwen1.5-14B √ √ Qwen1.5-72B √ √ Qwen1.5-7B √ √ Qwen2-72B √ x Qwen2-72B-1K √ x Qwen2.5-72B √ x Qwen2.5-32B √ √
  • 场景描述 模型压缩是指将高比特浮点数映射到低比特量化空间,从而减少显存占用的资源,降低推理服务时延,提高推理服务吞吐量,并同时减少模型的精度损失。模型压缩适用于追求更高的推理服务性能、低成本部署以及可接受一定精度损失的场景。 ModelArts Studio大模型即服务平台当前支持SmoothQuant-W8A8和AWQ-W4A16两种压缩策略。 表1 压缩策略的适用场景 压缩策略 场景 SmoothQuant-W8A8 长序列的场景 大并发量的场景 AWQ-W4A16 小并发量的低时延场景 更少推理卡数部署的场景
  • 查看部署任务信息 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称,进入部署模型服务详情页面,可以查看服务信息。 “详情”:可以查看服务的基本信息,包括服务、模型、资源等设置信息。 “监控”:可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟NPU的平均使用率,当请求率较低时,使用率会显示为0。 “事件”:可以查看服务的事件信息。事件保存周期为1个月,1个月后自动清理数据。 “日志”:可以搜索和查看服务日志。
  • 单实例QPS的推荐值说明 单实例流量限制QPS和请求的输入输出有关,表2中的QPS推荐值是在多轮对话、摘要生产和信息检索场景下预估出的数据,仅供参考,如果要了解其余典型场景的QPS推荐值请联系技术支持。 单位:次/秒 表2 各模型的QPS推荐值 模型名称 QPS推荐值 Baichuan2-13B 1 Baichuan2-7B 3 ChatGLM3-6B 3 Llama2-13B 1 Llama2-13B-AWQ 1 Llama2-13B-SQ 1 Llama2-70B 1 Llama2-70B-AWQ 1 Llama2-70B-SQ 1 Llama2-7B 3 Llama2-7B-AWQ 3 Llama2-7B-SQ 3 Llama3-70B 1 Llama3-70B-AWQ 1 Llama3-70B-SQ 1 Llama3-8B 3 Llama3-8B-AWQ 3 Llama3-8B-SQ 6 Llama3.1-70B 1 Llama3.1-8B 3 Qwen1.5-14B 1 Qwen1.5-14B-AWQ 1 Qwen1.5-14B-SQ 1 Qwen1.5-32B 1 Qwen1.5-72B 1 Qwen1.5-72B-AWQ 1 Qwen1.5-72B-SQ 1 Qwen1.5-7B 3 Qwen1.5-7B-AWQ 3 Qwen1.5-7B-SQ 3 Qwen-14B 1 Qwen2-72B 1 Qwen2-72B-AWQ 1 Qwen2-72B-SQ 1 Qwen2-72B-1K 1 Qwen2-72B-32K 1 Qwen2-7B 3 Qwen2-7B-AWQ 3 Qwen-72B 1 Qwen-7B 3 Qwen2-1.5B 6 Qwen2-0.5B 9 Qwen2.5-0.5B 9 Qwen2.5-1.5B 6 Qwen2.5-7B 3 Qwen2.5-14B 1 Qwen2.5-72B 1 Qwen2.5-72B-32K 1 Qwen2.5-72B-AWQ 1 Qwen2.5-72B-SQ 1 Qwen2.5-32B 1 Qwen2.5-32B-AWQ 1 Qwen2.5-32B-SQ 1 Qwen2.5-72B-1K 1 Glm-4-9B 3 Yi-34B 1 Yi-6B 3 Deepseek-Coder-33B 1
共100000条