.png)
研究方向
媒体创新Lab秉承开发共赢的理念，愿意与学术界和工业界各位精英就以下研究方向合作，如有意向请联系MediaInnovLab@huawei.com。
-
软件视频编解码
云视频业务的快速发展，视频呈现出了新的形式， 场景越来越丰富，分辨率越来越高，互动性越来越强，接入端灵活多样，而视频编解码作为视频核心技术，也面临着时延、码率、功耗等挑战。研究业界领先的软件视频编解码技术， AI内容感知，软硬结合，灵活部署，为云上各种视频业务场景提供低码率、低功耗、 低时延和高质量的视频编解码算法。
-
媒体处理
视频作为未来云厂商最大的流量载体，极致的体验，极低的成本是各厂商竞争的高地，需要借助AI能力来不断优化算法， 保持算法的持续领先。研究跨终端，轻量级的媒体处理算法，如音视频去噪、超分辨率、超帧率、细节增强、色彩优化、光线矫正、花屏修复、抖动矫正等，来提升云视频体验和竞争力。
-
硬件视频编解码
海量且多样的计算资源是云的显著特点和巨大优势，CPU、GPU、专业转码卡、FPGA等都提供了不同程度的编码能力和AI计算能力。开发适合云原生场景的硬件编解码算法，研究AI增强编码算法，以及探索异构编码算力的部署方法，充分释放云上异构编码能力，显著降低编码时延和编码成本，提高用户体验。
-
体验建模
通过自动化QoE建模技术对实时互动云媒体应用的用户体验进行评估，旨在为各应用提供体验调优指导和质差定位
-
传输优化
面向高通量、低时延的实时互动云媒体应用，研究实时互动业务的端到端体验优化的关键技术（拥塞控制算法，前向纠错算法，编传联动算法，接收端抖动缓冲区，编码SVC与SFU抽帧联动），旨在复杂多变的网络环境中，保证用户在不同环境下的极致体验。
-
光线追踪
实时光线追踪技术带来了逼真的光影，将渲染技术带入了下一个世代。云上光线追踪不再受限于算力限制，带来了新的想象空间。我们研究光线追踪的软硬件算法，提升实时光追的效果与效率。具体而言，研究方向包括：光线求交、采样算法，PBR材质，全局光照算法（反射、折射、阴影、AO、动态GI等），以及后处理算法、神经网络辅助加速等。
-
分布式渲染
构建与运行数字化虚拟世界需要海量的计算资源，云成为了最好的载体。我们希望通过云上分布式图形计算资源，使得超大数字虚拟世界弹性可扩展的运行，在多用户间充分共享计算结果。具体而言，我们研究的软硬件技术包括：表面光场，预计算辐射传输 (PRT)，着色重用 （shading reuse），高几何细节（high geometry details），并行处理，多GPU体系架构等。
-
XR混合现实
混合现实是“元宇宙”最重要的体验方式，通过云与终端的配合，可以极大的解放端侧设备的算力与功耗。我们研究通过云与XR终端设备的配合，将虚实世界无缝融合。具体而言，研究方向包括：人体数字化身的生成、驱动与传输技术 （digital avatar），端云协同渲染技术(collaborative rendering)，XR现场合作的空间锚定技术(spatial anchor)，支持多人交互的虚拟场景管理技术(virtual scene management)。
-
数字人
媒体产业正在由传统音视频演进到数字内容，而以虚拟分身、IP型数字人、服务型数字人为代表的各类数字人，正在成为各行各业中数字世界的入口。为了全方位构建“皮形魂”兼备的智能化、高保真、可成长型数字人，让数字人生于云、长于云，就必须整合当今最前沿的人工智能、计算机图形、视觉生成大模型等技术。具体而言，研究方向包括：生成式人工智能、计算成像、三维视觉、材质纹理生成重建、多模态数字人生成垂域模型、数字形象编辑控制、数字人自主演化和智能交互等。
-
实时高保真多物理仿真
研究物理仿真根技术，实现虚拟世界中的各种物理对象的实时高保真仿真，支撑刚体、软体、流体、人体、布料、头发和肌肉等物理对象的可交互、高保真和实时仿真，达到“影视的效果，游戏的速度”。可应用于数字人、机器人和数字孪生城市等物理仿真。
-
神经物理仿真
研究基于AI预测来替代物理计算的神经物理仿真技术，解决控制方程过于复杂的物理计算难题，极大提高物理仿真速度。充分利用云多元算力，训练形成多类通用神经物理仿真AI模型，实现时空算力复用。
-
分布式物理仿真
研究分布式多节点、多GPU的物理仿真技术，实现单机多种物理仿真算法的分布式化和多节点耦合交互，实现超大规模虚拟物理世界（如数字孪生城市等）的快速精准仿真，为元宇宙的实现打下基石。
-
基于物理仿真的深度强化学习训练
研究基于物理仿真的深度强化学习训练，实现虚拟仿真环境中的智能体与环境交互循环的学习算法，实现大规模并行环境中的计算完全统一，实现云多元算力加速，加速如云机器人运动和操控、数字人动作学习等任务的高性能策略训练。
-
AIGC物理
研究基于AI的物理内容生成技术AIGC-4D，基于AI和场景描述输入快速生成符合三维仿真世界中的场景和对象，并赋予时间维度遵循物理规律的持续运动。
-
物理引擎应用技术
研究基于云物理引擎的典型应用关键技术，如空间计算中的物理仿真、数字人仿真、机器人仿真、数字孪生和AIGC-4D等，端到端打通云物理引擎的开发环境与应用生态。
-
光笼超写实数字人重建
基于光笼（Light Stage）进行超写实数字人制作是业界的主流实践。我们通过研究高精度几何重建、自动材质解算以及基于可微渲染的主动式反馈系统，构建从采集、重建到可视化的自动化流程，实现高效率、高质量的数字人采集。
-
基于单张照片的数字人三维重建
基于影视级人脸三维重建的积累，实现基于单张照片的自动化建模，还原真实人脸的几何和材质贴图，兼容各类驱动算法。可应用于C端3D数字化身的快速生成，在元宇宙中进行社交、娱乐等活动。
-
高逼真数字人渲染
研究数字人的高逼真实时高效渲染方案。数字人既需要对皮肤、毛发、服装布料、配饰等复杂材质进行高效建模，并且需要高效支持次表面散射、软阴影、色溢、全局光照等复杂光传输效果。通过构建实时、离线、神经混合等多种渲染管线，支持不同应用场景的数字人渲染需求。
-
2D 数字人生成大模型
研究基于生成式大模型的2D数字人形象生成及编辑技术，支持文本、图片等多模态的用户输入和多种风格的形象输出，实现丰富、灵活和精确的数字人形象编辑。可用于照片驱动数字人、数字人会议、证件照生成器等一系列应用场景。
-
3D 数字人生成大模型
AIGC-3D是目前学术界和业界的前沿热点问题，3D数据短缺及3D数据的高维复杂性导致AIGC-3D充满挑战。我们通过研究CV/CG融合策略，构建3D数字人几何、PBR材质生成大模型，支持基于文本生成多样化的3D数字人形象。得益于CG管线兼容的数字人资产表示（网格+PBR材质贴图表达），生成的3D数字人支持自动绑定、表情和身体驱动。
-
数字人AIGV
研究基于生成式人工智能的数字人视频生成和编辑技术，以AI生成式大模型为基础，引入人脸/人体参数化模型的先验信息作为控制信号，实现基于表情驱动和动作驱动的数字人视频生成和编辑技术技术。可应用于数字人虚拟试衣、数字人直播等多种商用场景。
-
3D数字人形象编辑
针对3D数字人形象编辑门槛高的难点，研究包含高层次语义编辑、可控贴纸融合、智能上妆、AI几何捏脸等功能模块在内的统一编辑框架，实现面向普通用户的低门槛、高写实、多样化的3D数字人编辑，可用于照片建模、3D数字人生成、光笼重建等多来源形象的二次编辑和定制。
