华为云媒体创新Lab联合上海交通大学、慕尼黑工业大学、伦敦帝国理工学院、西北工业大学、西蒙菲莎大学等高校及华为诺亚方舟实验室，将在国际顶级人工智能会议AAAI 2024上举办主题为“AI for Digital Human”的Workshop，旨在从人工智能视角探讨数字人技术的发展，欢迎对数字人领域有独到见解的研究者们积极投稿！除此之外，依托此次Workshop，组委会也将举办一场数字人技术竞赛，获奖队伍将获得丰厚奖金，同时有机会分享自己的优胜方案，欢迎踊跃报名！

论文《PARF: Primitive-Aware Radiance Fusion for Indoor Scene Novel View Synthesis》提出了一种高效的场景重建方法，具备强大的新视角合成能力及可编辑性。该方法使用语义分割和原始信息提取来加速神经辐射场的构建，并将体渲染与原始渲染结合，形成混合渲染策略。该方法在大量实验中展现了快速、高质量、可编辑的优势。

9月16日-18日， 2023第十二届中国智能产业高峰论坛（CIIS 2023）将在南昌举办。媒体创新lab技术专家徐迪受邀在大会作专题报告。

报告题目：AIGC浪潮下的数字人云服务

报告摘要：生成式人工智能AIGC是自动化内容生产的技术合集。最近一年来各类AIGC 产品集中发布，从效率、质量、多样性等方面为内容生产带来深刻变革。AIGC率先在文本生成和图像生成方面达到商用水准，而在难度更高的三维及视频方向还有很大提升空间。数字人作为AI技术的合集和数字世界的入口，在这波浪潮下有着重要科研和商用价值。华为云通过盘古基础大模型赋能 MetaStudio 数字内容生产线，打造了盘古数字人大模型，提供模型生成和模型驱动两大服务，让数字人生于云、长于云。开发者可以快速生成和驱动数字人，赋能在线教育、文娱直播、企业会议等行业应用，让人人实现“数字人自由”

论文《An Improved Combination of Faster R-CNN and U-Net Network for Accurate Multi-Modality Whole Heart Segmentation》介绍了一种结合Faster R-CNN和3D U-Net (CFUN+)的两阶段多模态全心分割策略。具体而言，首先通过Faster R-CNN检测心脏的边界框，然后将与边界框对齐的心脏的原始计算机断层扫描（CT）和磁共振成像（MRI）图像输入到3D U-Net中进行分割。提出的CFUN+方法通过将先前的IoU损失函数替换为CioU损失函数，重新定义了边界框损失函数，即使分割结果更准确，也提高了收敛速度。该方法在MM-WHS 2017挑战的CT数据集上实现了91.1%的评分，比基线CFUN模型高5.2%。此外，单颗心脏的分割速度也从几分钟大幅提高到不到6秒。

论文《Effect-based Multi-viewer Caching for Cloud-native Rendering》探讨了云原生渲染架构是否可行，并可扩展到多客户端渲染场景。论文提出了世界空间和表面缓存，以及同一世界中视角之间的共享渲染计算。讨论了如何在效果基础上利用缓存，并演示了随着场景中视角数量增加，节省了大量的计算。缓存可以轻松设置为各种效果，包括环境遮挡、直接照明和漫反射全局照明。结果强调，使用缓存渲染的图像质量与屏幕空间渲染相当，由于其简单性和固有的一致性，缓存渲染甚至可能在单个单个视角时具有优势。通过分析运行和通信成本，发现缓存渲染在多GPU系统中已经是可行的。在此研究基础上，云原生渲染触手可及。

论文《Trim Regions for Online Computation of From-Region Potentially Visible Sets》提出一种实时为任意场景生成PVS的新算法。该算法是第一个将自动收缩应用于无约束3D场景（包括非流形网格）的算法，并使用高效的GPU执行模型实时收缩。我们证明了我们的算法为复杂场景生成了一个紧密的PVS，并优于以前的在线方法，用于从视点和从区域PVS。运行频率为60 Hz，适用于由数百万个三角形组成的现实游戏场景计算PVS。

与盘古数字人大模型融合的MetaStudio数字人模型生成服务在HDC.Cloud2023华为开发者大会上亮相，展示了从零交互式创建数字人的运行体验。

论文《Surface Light Cones: Sharing Direct Illumination for Efficient Multi-viewer Rendering》提出了一种使用存储在对象表面上的紧凑多光锥来表示和缓存直接照明信息的方法。与基于采样的方法相比，逐步细化和更新圆锥结构不仅允许适应动态场景，而且还导致输出图像中的噪声降低。依靠表面光锥的单视角渲染比随机采样方法快2-3倍，比相同质量的reservoir-based采样快1.5-2倍。在云上，多个观众位于靠近另一个观众的位置，例如在虚拟会议、游戏中的聚集地点或在线活动（如虚拟音乐会）中，与传统的光采样相比，我们的方法可以将场景中16名观众的整体渲染时间减少20倍。而且，表面光锥可以显著降低噪音。

媒体创新Lab专家将于2023年8月9日，在SIGGRAPH上分享云源生渲染的最新研究进展《Effect-based Multi-viewer Caching for Cloud-native Rendering》。SIGGRAPH是由美国计算机协会计算机图形专业组组织的计算机图形学顶级年度会议，该会议有上万名计算机从业者参加。本工作提出了一个云原生渲染体系结构，该体系结构可扩展到多客户端渲染场景。我们的系统使用世界空间和表面缓存在虚拟世界中跨查看器共享渲染计算。渲染质量与屏幕空间方法相当，同时当几何体被多个视角查看时降低了计算成本。

论文《Efficient Rendering of Participating Media for Multiple Viewpoints》研究了跨摄像机共享中间计算的视图对齐缓存方法。此方法适用于多摄像头场景，如VR和AR的立体声渲染、本地分屏游戏。此方法依赖于视图对齐的网格进行近场计算，所以能够捕捉视角面前的高频阴影。此外，通过使用世界空间缓存结构，根据每个视角的可见性选择性地激活远程计算，允许共享计算并保持高视觉质量。评估结果表明，在不影响视觉质量的情况下，计算成本节约高达50%以上。

论文《Clouds in the Cloud: Efficient Cloud-Based Rendering of Real-Time Volumetric Clouds》研究了在不损害最终渲染的感知质量的前提下，将实时渲染体积云的计算移动到云上远程服务器，并在同一虚拟世界中的各视角之间共享计算的可行性。本文利用放置在云层中和直接放置在对象表面的缓存提出了一种有效的体积云和云阴影渲染方法。体积云阴影直接缓存在接收对象的表面上，通过共享冗余计算并将其存储在多个帧上，使得多个视角观察相同云形成的场景实现了高效渲染。

论文《Human 3D Avatar Modeling with Implicit Neural Representation: A Brief Survey》全面综述了隐式神经表示在人体建模中的应用。首先，介绍了占用域、SDF和NeRF的三种隐式表示，并对本文所研究的文献进行了分类。然后分别比较分析了隐式建模方法在身体、手和头部中的应用。最后，指出了目前工作的不足，并为研究人员提供了可用的建议。

论文《Practical Cloud-Edge Scheduling for Large-Scale Crowdsourced Live Streaming》已被IEEE Transactions 旗舰期刊TPDS接收。本文针对云边缘提供商提供的大规模众包直播（CLS）服务，探讨了传统智慧“就近服务”策略可能带来的成本效率低下问题。作者利用来自中国代表性云边缘提供商华为云的实际服务数据进行了大规模的测量分析，发现巨量频道数量对云边缘提供商的运营支出造成了极大的负担，而不平衡的观众分布使得边缘节点承受了显著的成本效率低下。

为了解决上述问题，作者提出了一种名为AggCast的新型CLS调度框架，以优化云边缘提供商的边缘节点利用率。AggCast的核心思想是将最初分散在不同地区的一些观众聚合起来，分配给少数预先选定的节点，从而降低带宽成本。特别地，通过集成从大规模测量中获得的有用洞见，AggCast不仅可以确保用户体验质量（QoS）不会受到降低，还能满足CLS服务的系统要求。AggCast已进行了A/B测试并完全部署。在线和基于踪迹的实验表明，与最普遍的方法相比，AggCast节省了超过16.3％的源回程（BTS）带宽成本，同时显著提高了QoS（启动延迟，停滞频率和停滞时间分别降低了12.3％，4.57％和3.91％）。

论文《JPEG Decoding With Nonlinear Inverse Transform Network and Progressive Recurrent Residual Network》提出了一种基于非线性逆变换网络和渐进递归残差网络的JPEG解码方法（称为JDNet）。JDNet用一个模型重建不同质量因子(QF)的JPEG图像。在JDNet中，首先提出了基于CNN的逆变换网络（iTNet）来学习DCT系数到其相应原始像素的非线性映射，这与以前DCT网络中的线性映射相反，iTNet可以减少逆DCT过程中的误差传播，获得更准确的重建信息。此外，iTNet可以与任何JPEG后处理方法结合使用，以提高其性能。其次，在设计的后处理网络中，提出了渐进递归残差网络（PRRN）用于局部特征提取，该网络利用多尺度空间（LNLMS）中的局部和非局部相似性，进一步提高解码图像质量。实验结果表明，与JPEG、ARCNN、DnCNN和STRRN相比，JDNet在Live1数据集上的平均增益分别为1.88dB、0.63dB、0.35dB、0.24dB，在城市100数据集上的平均增益分别为2.61dB、1.11dB、0.69dB和0.29dB。BSD500数据集上分别为1.91dB、0.69dB、0.37dB和0.13dB。

论文《A Variational Loop Shrinking Analogy for Handle and Tunnel Detection and Reeb Graph Construction on Surfaces》设计了一个比循环收缩特性（loop shrinking）更简单、直观、强大算法，对handle and tunnel loop detection问题进行了简化处理。

媒体创新lab实时渲染方向论文《Real-time Deep Radiance Reconstruction from Imperfect Caches》Computer Graphics Forum正式发表。在本文针对静态场景设计一种通过深度神经网络与辐射度缓存实现全局光照的实时渲染技术，方法包括：(1)在三维场景中的每个三角形重心处引入了低质量缓存用于烘焙全局光照效果下的出射辐射度。缓存的低采样率和低分辨率有效减少了预计算阶段的时间消耗。 (2) 设计了一个深度神经网络，在G-buffer信息的指导下，从低质量的输入推理出高质量的图像。该网络的轻量级设计保证在任意场景下都可以实现优秀的实时全局照明效果

媒体创新Lab与武汉大学合作的论文《Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information》已在国际顶会Computer Vision and Pattern Recognition上发表。本文考虑视频时空超分辨率(ST-VSR)任务，即同时将源视频超分到更高的帧率和分辨率。然而，大多数现有方案在训练阶段要么固定时间和尺度，要么只接受预设的输入帧数(例如两个相邻帧)无法利用时域上的更多信息。为了解决这些问题，本文提出了一种连续ST-VSR(C-STVSR)方法，可以将给定视频转换为任何帧率和分辨率。为了实现任意时域插值，我们提出了前向变形引导帧合成模块和光流引导上下文一致性损失函数，以更好地逼近极端的运动信息并保留输入帧和预测帧之间的相似结构。此外，本文设计了一个内存友好的级联深度模块来实现连续空间上采样。同时，通过对光流的复杂重组，使得从大跨度的相邻帧信息传播成为可能，从而得到更好的重建质量。实验表明，与业界最先进的方法相比，本文所提出的算法具有更好的灵活性，在各种数据集上测试均有更好的性能，在客观评估和主观视觉效果方面也都表现出色。

论文《Learning a Single Convolutional Layer Model for Low Light Image Enhancement》提出了一种单卷积层模型（SCLM）的弱光增强网络。此外，论文还引入了一个局部自适应模块，该模块学习一组共享参数，以完成局部照明校正，以解决不同图像区域中不同曝光水平的问题。实验结果表明，该方法在客观度量和主观视觉效果方面都优于最先进的LLI方法。此外，与其他基于学习的方案相比，此方法具有更少的参数和更低的推理复杂度。

媒体创新Lab与哈尔滨工业大学合作的论文《Lossless Recompression of JPEG Images Using Transform Domain Intra Prediction》在IEEE Transactions 旗舰期刊Image Processing上发表。本文提出了一种基于变换域帧内预测的JPEG图像无损重压缩混合编码框架(LLJPEG)，包括块划分和帧内预测、变换和量化、以及熵编码。在LLJPEG中，先使用帧内预测获取预测块，然后对预测块进行DCT变换并量化得到预测系数，再用原系数减去预测系数得到DCT系数残差，最后对DCT残差进行熵编码。在LLJPEG中，提出了一些新的编码工具用于帧内预测，并重新设计了熵编码。实验表明，LLJPEG可以在不损失JPEG图像品质的情况下，在Kodak和DIV2K数据集上分别将存储空间减少29.43%和26.40%，同时保持低解码复杂度。

第43届Eurographics大会于2022年4月25日在法国兰斯举办，媒体创新Lab专家Markus Steinberger和Martin Winter受邀在Tutorial Program做了题为《Modern CUDA and Applications to Task-based Programming》的主题分享，详细介绍了现代CUDA toolkit的使用，并重点阐述了基于任务的GPU程序该如何应用CUDA的新特性。

2022年3月30日，媒体创新Lab专家Martin Winter推出GPU编程相关的在线课程，该课程面向初学者，系统性地讲解了GPU编程的基本原理，以及CUDA的相关工具等。课程链接：https://www.youtube.com/playlist?list=PLSCEnLr7dXKgR5Z_QPUamgUteYE7sPRqx。

在移动AR应用中，将物体检测识别等视觉任务卸载到边缘，是一个典型的优化方案，然而现有研究中很少考虑大规模AR用户带来的边缘计算节点超负荷问题。本方案提出了一个协作式移动端缓存与计算方案，有效提升了边缘系统的整体性能，相关论文发表在CCF A类会议IEEE VR2022。论文链接：https://ieeexplore.ieee.org/abstract/document/9714049。

通过在线车展的场景，展示了云原生实时渲染的影视级高画质、实时流畅、支持多种端侧形态等特性。

媒体创新Lab成立，聚焦于公有云中未来媒体技术的创新性研究。

360度视频是VR的一个典型应用，当前市面上的系统最高可支持8K分辨率的360视频传输与播放。借由边缘GPU转码，本方案能够提供高品质的16K分辨率VR视频传输与移动端播放,相关论文发表在CCF A类会议 WWW2021 论文链接：https://dl.acm.org/doi/abs/10.1145/3442381.3449829。

来自华为云与上海交通大学合作项目的论文《Noise-to-Compression Variational Autoencoder for Efficient End-to-End Optimized Image Coding》被DCC会议接收并已发表。本文提出了一种基于深度学习的图像压缩方法，相比标准方法，在0.07-0.25bpp范围内， 实现0.7-5.8dB的BD-PSNR增益 。

来自华为云与上海交通大学合作项目的论文《Lossless Compression for Video Streams with Frequency Prediction and Macro Block Merging》被DCC会议接收并已发表。本文提出了一种无损的视频压缩方法，相比H.264/AVC 和 HEVC编码视频，在标准测试序列和监控视频上实现 17.38% 和 10.85% 的压缩增益。