云服务器内容精选

  • 优势 CCE通过集成Volcano,在高性能计算、大数据、AI等领域有如下优势: 多种类型作业混合部署:支持AI、大数据、HPC作业类型混合部署。 多队列场景调度优化:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。 多种高级调度策略:支持gang-scheduling、公平调度、资源抢占、GPU拓扑等高级调度策略。 多任务模板:支持单一Job多任务模板定义,打破Kubernetes原生资源束缚,Volcano Job描述多种作业类型(Tensorflow、MPI、PyTorch等)。 作业扩展插件配置:在提交作业、创建Pod等多个阶段,Controller支持配置插件用来执行自定义的环境准备和清理的工作,比如常见的MPI作业,在提交前就需要配置SSH插件,用来完成Pod资源的SSH信息配置。 在线离线业务混部:支持集群内在离线作业混部以及节点CPU和内存资源超卖,提升集群整体资源利用率。
  • 应用场景3:多种高级调度策略 当用户向Kubernetes申请容器所需的计算资源(如CPU、Memory、GPU等)时,调度器负责挑选出满足各项规格要求的节点来部署这些容器。通常,满足各项要求的节点并非唯一,且水位(节点已有负载)各不相同,不同的分配方式最终得到的分配率存在差异,因此,调度器的一项核心任务就是以最终资源利用率最优的目标从众多候选机器中挑出最合适的节点。 下图为Volcano scheduler调度流程,首先将API server中的Pod、PodGroup信息加载到scheduler cache中。Scheduler周期被称为session,每个scheduler周期会经历OpenSession,调用Action,CloseSession三个阶段。其中OpenSession阶段加载用户配置的scheduler plugin中实现的调度策略;调用Action阶段逐一调用配置的action以及在OpenSession阶段加载的调度策略;CloseSession为清理阶段。 Volcano scheduler通过插件方式提供了多种调度Action(例如enqueue,allocate,preempt,backfill)以及调度策略(例如gang,priority,drf,proportion,binpack等),用户可以根据实际业务需求进行配置。通过实现Scheduler提供的接口也可以方便灵活地进行定制化开发。
  • 应用场景4:高精度资源调度 Volcano 在支持AI,大数据等作业的时候提供了高精度的资源调度策略,例如在深度学习场景下计算效率非常重要。以TensorFlow计算为例,配置“ps”和“worker”之间的亲和性,以及“ps”与“ps”之间的反亲和性,可使“ps”和“worker”尽量调度到同一台节点上,从而提升“ps”和“worker”之间进行网络和数据交互的效率,进而提升计算效率。然而Kubernetes默认调度器在调度Pod过程中,仅会检查Pod与现有集群下所有已经处于运行状态Pod的亲和性和反亲和性配置是否冲突或吻合,并不会考虑接下来可能会调度的Pod造成的影响。 Volcano提供的Task-topology算法是一种根据Job内task之间亲和性和反亲和性配置计算task优先级和Node优先级的算法。通过在Job内配置task之间的亲和性和反亲和性策略,并使用task-topology算法,可优先将具有亲和性配置的task调度到同一个节点上,将具有反亲和性配置的Pod调度到不同的节点上。同样是处理亲和性和反亲和性配置对Pod调度的影响,task-topology算法与Kubernetes默认调度器处理的不同点在于,task-topology将待调度的Pods作为一个整体进行亲和性和反亲和性考虑,在批量调度Pod时,考虑未调度Pod之间的亲和性和反亲和性影响,并通过优先级施加到Pod的调度进程中。
  • 应用场景5:在线离线作业混合部署 当前很多业务有波峰和波谷,部署服务时,为了保证服务的性能和稳定性,通常会按照波峰时需要的资源申请,但是波峰的时间可能很短,这样在非波峰时段就有资源浪费。另外,由于在线作业SLA要求较高,为了保证服务的性能和可靠性,通常会申请大量的冗余资源,因此,会导致资源利用率很低、浪费比较严重。将这些申请而未使用的资源(即申请量与使用量的差值)利用起来,就是资源超卖。超卖资源适合部署离线作业,离线作业通常关注吞吐量,SLA要求不高,容忍一定的失败。在线作业和离线作业混合部署在Kubernetes集群中将有效的提升集群整体资源利用率。 目前Kubernetes的默认调度器是以Pod为单位进行调度的,不区分Pod中运行的业务类型。因此无法满足混部场景对资源分配的特殊要求。针对上述问题,Volcano实现了基于应用模型感知的智能调度算法,根据用户提交的作业类型,针对其应用模型对资源的诉求和整体应用负载的情况,优化调度方式,通过资源抢占,分时复用等机制减少集群资源的空闲比例。
  • 应用场景1:多类型作业混合部署 随着各行各业的发展,涌现出越来越多的领域框架来支持业务的发展,这些框架都在相应的业务领域有着不可替代的作用,例如Spark,Tensorflow,Flink等。在业务复杂性能不断增加的情况下,单一的领域框架很难应对现在复杂的业务场景,因此现在普遍使用多种框架达成业务目标。但随着各个领域框架集群的不断扩大,以及单个业务的波动性,各个子集群的资源浪费比较严重,越来越多的用户希望通过统一调度系统来解决资源共享的问题。 Volcano在Kubernetes之上抽象了一个批量计算的通用基础层,向下弥补Kubernetes调度能力的不足,向上提供灵活通用的Job抽象。Volcano通过提供多任务模板功能实现了利用Volcano Job描述多种作业类型(Tensorflow、Spark、MPI、PyTorch等),并通过Volcano统一调度系统实现多种作业混合部署,解决集群资源共享问题。
  • 应用场景2:多队列场景调度优化 用户在使用集群资源的时候通常会涉及到资源隔离与资源共享,Kubernetes中没有队列的支持,所以它在多个用户或多个部门共享一个机器时无法做资源共享。但不管在HPC还是大数据领域中,通过队列进行资源共享都是基本的需求。 在通过队列做资源共享时,CCE提供了多种机制。可以为队列设置weight值,集群通过计算该队列weight值占所有weight总和的比例来给队列划分资源;另外也可以为队列设置资源的Capability值,来确定该队列能够使用的资源上限。 例如下图中,通过这两个队列去共享整个集群的资源,一个队列获得40%的资源,另一个队列获得60%的资源,这样可以把两个不同的队列映射到不同的部门或者是不同的项目中。并且在一个队列里如果有多余的空闲资源,可以把这些空闲资源分配给另外一个队列里面的作业去使用。
  • 离线渲染平台/影视动画渲染 场景概述 为了满足观众对于图形图像或影视特效要求不断提高,在渲染环节所占时间和投资比重也越来越大。传统的线下渲染方式已无法满足特效制作公司对于计算资源的重度需求,云化渲染逐渐成为主流。 客户瓶颈 以某部国产科幻电影的一个特效镜头为例,开场从地面拉向太空的2mins长镜头共有3000帧。以目前主流4K影片常用渲染配置——3000台24核服务器集群进行渲染,每台服务器并行渲染1帧,总时间需要20h,按需成本约32W。而在实际影视制作中,通常一个画面需要渲染,修改多次才可以出片,实际成本和时间会更高。 竞享实例的应用 相较于采用按需方式进行离线渲染,竞享实例可以渲染同样的特效画面,在时间相同的情况下只需8万元,成本下降75%。这些节省的成本还可以用来购买更多的竞享实例,实现成本和渲染周期的双重下降,并以此缩短整个电影拍摄制作周期,节省大量人力物力成本。
  • 视频离线转码 场景概述 视频离线转码是指在离线状态下通过转码软件或转码平台,将音频、视频文件转码为适应各种终端(PC\TV\手机等)播放格式,主要应用于电视台、IPTV、OTT、有线网络、电信运营商、互联网视频等行业。 客户瓶颈 随着5G时代的到来,视频展现形式多样化,人们对视频质量要求提升。高清视频内容的制作与转换需求增加,对转码服务的效率和成本都是极大的挑战。已有资源不足以负荷转码任务量的增长,转码速度缓慢,如新增资源则是一笔不少的成本支出。 竞享实例的应用 客户可以将自己转码服务建立在竞享实例上,竞享实例价格优惠,可以以更低成本获取更高的性能。通过转码任务分发平台将视频任务切割成多个相互独立的计算任务,并分发到多台竞享实例中进行转码,转码完成后通过合成工具合并视频即可快速完成转码任务。 计算集群中CPU 总核数越多处理速度越快,竞享实例支持快速扩容使用,可灵活配置支撑转码任务高峰,结束任务后可以自由释放实例,减少资源浪费。利用竞享实例构建自己的转码服务,可以有效控制成本,提升转码速度。 【竞享实例购买入口】https://activity.huaweicloud.com/ceci.html
  • 典型场景 华为云 路网数字化服务 解决方案面向城市、高速、园区提供城市交通治理、高速精准运营、园区车联服务三类应用使能: 园区车联服务——探索园区AVP停车等车路协同应用。 高速精准运营——提升高速全场景感知能力,对过车数量、完整的车辆刻画进行全天候感知,支撑高速路网智慧运营,实现高速公路设施的数字化采集、管理与应用。 城市交通治理——提升城市道路数字化能力,增强路侧感知能力,对交通态势进行精准的感知,提升出行安全,同时通过云端进行交通能力建模,指导城市交通的优化和治理。 场景类型 场景特点 典型用例 园区 为园区封闭/半封闭道路提供红绿灯信息提醒、限速提醒、异常车辆提醒等能力。 红绿灯信息提醒 当车辆行驶接近有红绿灯的路口时,红绿灯将实时灯态信息上报路网数字化服务,路网数字化服务提前发送红绿灯信号给车辆,实现红绿灯信息上车。 道路限速 当前方道路出现道路限速的交通标牌信息时,路网数字化服务提前发送提醒信号,后方车辆提前进行减速或绕行通过,避免事故发生。 车辆逆行 当前方道路出现异常车辆如逆行车辆时,边缘服务识别并提前发送提醒信号,后方车辆提前进行减速及绕行通过,避免事故发生。 弱势交通参与者预警(行人识别/自行车识别) 路网数字化服务可通过实时视频和毫米波雷达监控路口行人和自行车的实时位置,广播给路口车辆,帮助交通参与者消除盲区,减少交通事故。 高速公路 面向桥梁、隧道、匝道、服务区等高速公路场景,提供交通事故预警、异常车辆提醒、恶劣天气预警、限速提醒、交通拥堵提醒等服务。 交通事故预警 路网数字化服务可通过实时视频和毫米波雷达监控路况,及时发现交通事故,并将事故信息广播给周边交通参与方、管理方,提醒交通参与方减速和避让,避免二次事故的发生。 车辆逆行 当前方道路出现异常车辆如逆行(车辆后退下匝道等情况)的车辆时,路网数字化边缘服务识别并提前发送提醒信号,后方车辆可提前进行减速及绕行通过,避免事故发生。 雨/雪/雾/风等恶劣天气预警 路网数字化服务可通过事件下发或恶劣天气信息分析,将恶劣天气预警实时广播给天气影响范围内的交通参与者,减少道路发生交通事故的可能性。 道路限速 当前方道路出现道路限速的交通标牌信息时,路网数字化服务提前发送提醒信号,后方车辆结合车载传感器信息提前进行减速或绕行通过,避免事故发生。 道路拥堵提醒 当前方道路出现拥堵时,路网数字化边缘服务识别并提前发送提醒信号,后方车辆结合车载传感器信息提前进行减速或重新规划路径,提升通行效率。 城市道路 为城市路口、公交专用道提供弱势交通参与者预警、异常车辆提醒、限速提醒、公交车道闯入预警、道路拥堵提醒等服务。 弱势交通参与者预警(行人识别/自行车识别) 路网数字化服务可通过实时视频和毫米波雷达监控路口行人和自行车的实时位置,广播给路口车辆,帮助车辆消除盲区,减少交通事故。 车辆逆行 当前方道路出现异常车辆如逆行(车辆逆向车道超车等情况)车辆时,路网数字化边缘服务识别并提前发送提醒信号,后方车辆提前减速及绕行通过,避免事故发生。 道路限速 当前方道路出现道路限速的交通标牌信息时,路网数字化服务提前发送提醒信号,后方车辆可提前进行减速或绕行通过,避免事故发生。 公交车道闯入预警 当前方道路有公交车专用道时,路网数字化服务提前发送公交车道信息,当非公交车辆结驶入时提醒车辆驶离公交车道,避免违章发生。 道路拥堵提醒 当前方道路出现拥堵时,路网数字化边缘服务识别并提前发送提醒信号,后方车辆结合车载传感器信息提前进行减速或重新规划路径,提升通行效率。 父主题: 路网数字化服务的应用场景
  • 方案架构 区块链 供应链物流与现有参与方IT信息系统的结合,可实现: 统一化账本。提供不可篡改、可追溯的一致性货物流转记录,满足审计要求。 为参与方IT系统提供通用接口接入区块链服务,相关信息输入不可篡改,各自为自己的信用买单,逐步建立信任体系。 通过司机APP附加地址围栏信息自动输入实现实时展示“由谁,在什么时间,在什么地方”处理货物。 履行智能合约。实现自动签收和结算,自动运算输出绩效结果,公平公正。 图1 方案架构
  • 行业现状及痛点 纸质单据 很多环节仍然大量沿用手工操作和纸质单据,导致运单流转时间长、成本高、对账慢、易丢失和污损,文件成本占物流成本的1/5。 效率低 供应链各协作方信息系统独立,没有统一的标准和信息系统,协作方之间协作和作用难度大。 周期长 电子信息易被篡改,只能采用纸质单据作为结算的唯一凭据,上下游核算周期长,承运商的平均应收款账期较长。 融资难 承运商大多为中小企业,缺乏信用记录,信用积累和数据,融资难,融资成本高。
  • 方案优势 减少错误 分布式共享账本极大改善供应链的可追溯和透明度,可有效减少或消除欺诈和错误。 提高效率 通过电子POD,减少纸上作业造成的延误,通过智能合约自动结算,提高效率。 降低成本 通过快速结算,自动接单,有效跟进,可以有效降低各方的物流成本。 透明审计 不可篡改的分布式账本,不可抵赖的签名,能快速有效的发现供应链物流中存在的问题。 提高信任 货物从生产、运输到最终接收,通过区块链技术可以实现全程跟进,规则透明,自动结算,可以极大提高消费者和第三方的信任。
  • 行业能力开放 图1 行业能力开放 开天 集成工作台 使企业把自身能力以 API服务 的形式开放出来,通过API衔接应用开发者、系统集成商等,从而服务更多的商业场景,快速形成产业链,从而让企业以最小改动满足用户碎片化且日益增长的需求。 优势: 高效开发 接口框架代码自动生成;自动化的持续交付流水线,一键式发布和注册。 编排领域API 通过流编排,将业务模型和API关联,快速生成面向业务API,实现模型互通,减少集成工作量。 安全可靠 使用严格的身份认证和权限管理来保护您的API;实施精细的配额管理及流控管理以保护您的后端服务。 全生命周期管理 基于华为的最佳实践,覆盖API设计、开发、测试、发布、订阅与调测全流程。 父主题: 应用场景
  • 应用场景 对于金融行业用户,新兴互联网业务的快速发展和业务数据的高敏感性是一对既有的矛盾,而现有的混合云架构是解决这一矛盾的较优解决方案。而在实际落地场景中,这样的结构依旧存在一些痛点亟待解决。 痛点一:业务部署分散,无法极速扩容和大规模治理,难以有效应对高峰期的流量冲击。 痛点二:云端生态不统一,业务实例分发困难,缺少丰富的金融云原生SaaS。 痛点三:流量治理层面难以满足数据敏感业务和时延敏感业务的高性能要求。 痛点四:智能终端的快速发展带来运营监管的难度,无法集中管理海量终端,实施有效的监管和运营。 痛点五:缺少跨中心的业务监控与治理能力,业务实例无法实现跨云迁移。
  • 优势 U CS 提供了跨云跨数据中心的大规模治理能力,统一接管自建IDC、边缘云、中心云资源,一站式分发调度,助力加速金融行业的业务创新。 算力统一供给 面对金融行业新兴的互联网类业务,UCS支持极速扩容和大规模治理,提供实现本地、边缘、云资源统一调度,有效应对流量冲击。 统一生态建设 UCS构建了标准的金融应用生态,可以实现应用的跨地域跨云的统一分发和部署,支持业务实例跨云迁移。 云边统一协同 实现海量终端及边缘侧设备、应用的协同管理,加速金融行业智能安防、智慧网点的建设。 多云统一协同 构建多地多中心的金融数字化业务架构,实现跨云跨数据中心的统一治理。