Shopee 图片处理技术后台应用

形式处置摄像机流。而既然有kbps，就关的到摄像机区块节目会，若只有一西路女主播的时候也kbps，则会浪费大量算力海洋资源。

为了耗费量度海洋资源，Shopee 女主播摄像机转用了 H.264 区块。在单个女主播的时候，我们转用举例来说转积体电路的形式处置女主播的摄像机；总括连麦者推送的时候，转用混流kbps的形式处置摄像机；连麦者离开后，其后返回到转封形式而。

而 MCU 前台处置了这种形式而之近有规律转换的疑虑，通过线程 GOP 的形式应付从单女主播转换到连麦形式而的场面，通过等候一新 GOP 的形式应付从连麦形式而转换到单人形式而的场面。

线上基本上时候，在小房近只有单个女主播的场面下，CPU 的千分之负载较很低，大大进到一步提较很低了战略性的即刻能力也。外加驱动器如果进到行kbps，多于大力支持 20 西路女主播；如果不进到行kbps，现今通过压测信息来看，多于大力支持 200 西路女主播转发。

这一套建议也用作 SeaBank 网络服务缴控制系统，对缴通话全过程进到行伴唱。相异在于 SeaBank 控制系统只有混流形式而。

3.3 多人内阁则会议混流

对于 Shopee 内部收发软件 SeaTalk，我们缺寡了多人内阁则会议混流服务项目作为新技术能力也储备（现今该功能还未上架），混流模块里给定了Linux软件 OWT 和 mediasoupclient 的意味着模块，并且在 OWT 模块上增高了 3 帧的线程队列，以平滑混流摄像机帧。内阁则会议混流控制系统大力支持 RTMP 和 WebRTC 推送。

3.4 摄像机前台总编辑

针对 Shopee 的粗摄像机的产品 Shopee Video，我们整合了一套前台总编辑服务项目，用作先成一些 2D 特效，例如图片基因组转摄像机、替换成或多或寡音乐、场面挤压、文句动画、摄像机转场、或多或寡含糊等。现今通过 CPU 分派 Xvfb 各种类型显卡的形式先成 gltransition 的转场敏感度。

4. 较很低清很低码

随着 Shopee App 里带货录播业绩日趋下降，进一步提高录播客户端清晰度乐趣的期望也越加发强烈。另一特别，在亚洲的因特网意味着下，录播分辨百余人很多还是 360p 或 270p，码百余人 300-500k。

起初，基本上 Shopee 带货女主播流很难kbps，为了适配录播观众们折返再加相异的因特网情况，女主播甚至用更是很低的分辨百余人和码百余人首播，来进到一步提较很低观众们正中的简练度，当然这种做到法以壮烈牺牲清晰度为代价。

在考虑客户端电视观众们乐趣，并综合摄像机kbps运输成本等多种考量后，Shopee 尽快投入自研摄像机kbps经营范围。与娱乐业寡见做到法近似于，Shopee 的录播kbps也分作平常kbps和较很低清很低码kbps。

平常录播kbps战略性用 NVIDIA T4 显卡粗区块，来大力支持更是多录播kbps。试验信息显示，录播带货场面下，一张 NVIDIA T4 显卡能区块 30 西路，远比于 CPU 运输成本有一定压倒性。另外一均是较很低清很低码kbps，采用 CPU kbps，JPEG是基于 x264 可用性后的先整初版。

如图所示是 Shopee 录播较很低清很低码和皓大厂较很低清很低码的清晰度对比，左面可以看出来 Shopee kbps清晰度轻微优于皓大厂 A，和左侧的皓大厂 B 相比，在块震荡的处置上也有细微压倒性。那么 Shopee 的较很低清很低码kbps是如何够的呢？

4.1 摄像机处置的一般步骤

到时来差不多了解一下摄像机kbps必需经过哪些节目会：

第一步截取得不到 YUV 场面信息；然后经过特别设计处置，值得注意了 ROI 或多或寡 gblur 波形、锐化、AI 进一步提高；接着将 YUV 信息送进到JPEG，进到入预区块节目会，主要必需是下频域、Scenecut 关键帧说明，帧种类议程、AC 能量倍数量度、MBTree 等；下一步进到入区块节目会，以外帧内/帧近预测区块、RDO、Deblocking、概要帧管理等必需；最后就是进到入取样和熵区块节目会，最终可用 NALU 单元。

上面必需里蓝色均是 Shopee 在 x264 改进做到过可用性的结点，整整则会一一讲解。

4.2 Shopee 较很低清很低码可用性建议4.2.1 特别设计处置1）CDEF 方法

在特别设计处置时，概要 AV1 里意味着的 CDEF 方法，抽出来作为一个 FFmpeg 镜片，该方法主要用作应付由于过度压缩导致的物体大块偏置震荡。通过该波形方法不久，场面里的物体大块则会更是加平滑。

CDEF 北至南可以思考为首到时量度意味着 8x8 的块在预设的八个顺时针块上的残差，可选择残差小于的作为确定的角度看顺时针，然后找到对应的角度看顺时针乘法进到行波形。图里最左侧是波形后的敏感度，可以看到树枝的大块更是加平滑了。

2）3D 静音

寡见的有别于静音方法 FFmpeg 里也有一些镜片意味着，比如 hqdn3d、bm3d 等。hqdn3d 概要的点较寡，群众运动无可避免时敏感度不佳。bm3d 必需额外量度群众运动分量，反应速度极慢。

我们在JPEG内置的 3D 静音方法通过协同工作群众运动分量的方法规避了敏感度差和反应速度慢的缺点。为了让前后帧的预测的资讯，在预区块里得不到的群众运动分量作为依据，找到被概要帧对应的块，作为波形的概要块，然后通过双边波形方法，对意味着块进到行波形。

意味著，因为协同工作了群众运动分量，从而尽可能较好地对意味着的块进到行静音波形，也缩小了量度复杂度。我们在 x265 也意味着了举例来说的方法。

4.2.2 归入值

寡见的归入区块值都是通过人为客观归入，例如游戏、UGC 摄像机、连环画等。而考虑到客观归入对于JPEG进到一步提较很低 BD-rate 都是是最佳的，Shopee 转用了一种逆向的本质方法，到时抽出来几个不增高区块复杂度，主要负面影响清晰度的值：B 帧个数、B 帧议程方法、B-pyramid、B 帧宏观在结构上、QComp 等。

首到时将这些值分成性价比最较很低的八组（当然这八组是通过我们线上的摄像机跑出来的论据），然后分别给出图里几组值的最佳 SSIM BD-rate 盈利——这里的盈利是相对于我们线上统一的区块值而言，把最佳 BD-rate 摄像机，相同值的作为一个大，然后针对这一个大摄像机分离出特征，进到行训练，采用训练先的框架对线上摄像机进到行归入。

手动值归入试验 BD-rate 盈利第二大 2.6%，框架归入 BD-rate 进一步提高相异框架归入的准确性，现今通过框架归入盈利 1.4% 左右，框架还在进到一步改进到里，预估是相对于手动归入 BD-rate 盈利第二大 2.6% 的期望。

4.2.3 JPEG可用性1）VBV - Adapt CRF

在JPEG码控特别，我们也做到出了一些可用性。如图，这是 VBV + CRF 码控框架示例，面对面灌注，灌注反应速度为 maxrate*帧duration；面对面堵，堵反应速度为非常寡非常寡区块码百余人。

当水量过很低时，引发下溢，增大 QP 倍数，缩小区块码百余人。当水量过较很低，引发上溢，缩小 QP 倍数，增大区块码百余人。非常寡非常寡区块档的 maxrate、bufsize 值上限了喷水池的大小，使得复杂摄像机场面为了大幅提高期望 CRF 清晰度，经常引发下溢，当码百余人不算低时，大幅度缩小了较很低复杂度场面的清晰度，比如出现更是为严重块震荡。

我们通过高效率变更是 CRF 倍数的形式，让千分之清晰度自始至终处于 VBV 上限范围内。当引发下溢时，增大 CRF 倍数，缩小期望清晰度；当引发上溢时，缩小 CRF 倍数，进到一步提较很低期望清晰度，以此大幅提高进一步提高摄像机千分之能量密度的目的。通过线上大量摄像机试验，BD-rate 进一步提高了 1.2%。

2）Hierarchy B + 时域波形

Shopee JPEG对 BD-rate 进一步提高多于的可用性是整体 B 帧在结构上。

都是，左面是一个社区先整初版 x264 区块出来的 B 帧在结构上，左侧是可用性后的 B 帧在结构上。由于左侧的 B 帧分了更是多层，从图上可以很直观地看出来，概要帧和被概要帧的距离更是近，概要的关系更是优。

另外，整体 B 帧采用到时确定 miniGOP，然后二分的形式议程概要的关系和宏观，远比于一个社区初版的 Adapt B 和 Viterbi B 帧议程，反应速度更是快。所列是我们试验的 BD-rate 进一步提高和帧百余人进一步提高盈利。

另外，议程先概要的关系不久，还可以通过对区块帧进到行时域波形，让区块帧更是相对于概要帧，缩小残差，以进到一步提较很低 BD-rate，盈利差不多在 2% 左右。

3）ROI（GBlur 或多或寡）

为了适配亚洲的因特网能量密度，Shopee kbps服务项目设想了一种 ROI kbps档。以往寡见的 ROI 区块，平常人通过增大非 ROI 范围内的 QP 倍数来缩小非 ROI 范围内的清晰度，然后把 bits 耗费下来，缩小 ROI 范围内 QP 倍数来进到一步提较很低清晰度。

但是这样带给一个疑虑，非 ROI 范围内看上去块震荡非常轻微，和 ROI 范围内有轻微割裂感。于是，我们对非 ROI 范围内进到行较很低斯含糊波形不久再 ROI 区块，敏感度看上去比原来的 ROI 区块好很多。

都是，左面是原图，里近是扣下来的 ROI 范围内，右图是较很低斯含糊不久 ROI 区块的敏感度。

4）曾一度概要帧

为了大力支持前台摄像机总编辑的服务项目，我们在总编辑服务项目JPEG里增高了曾一度概要帧。

在配乐摄像机的时候，可能则会出现一段节目里近要替换成广告的场面，如果按照原生的 x264 帧种类议程策略，则会引发 scenecut，议程为 IDR 帧，然而我们可以看到，这里里近替换成的广告的前后场面很有关联性。

于是我们把引发 scenecut 脸颊摄像机帧线程在JPEG概要帧队列里，并标记为曾一度概要帧，当后面的摄像机帧出现 scenecut 的时候，再和队列里的曾一度概要帧 scenecut 议程一次，如果议程结果均为引发 scenecut，则标记为 IDR，反之区块为 P 帧。如此可用性后，BD-rate 进一步提高 6% 左右，不过该策略非常寡一般而言于摄像机配乐的场面。

5）PG RDO

另外，我们还在 RDO 特别做到了一些可用性。

RDO 是JPEG进到行二次区块，把重建块和原画之近的残差作为失真，为了尽量缩小失真，对帧内/帧近预测形式而、群众运动分量、QP 倍数重新议程的全过程。它们的议程切变都是由南向北递增的，意指是如果要打开 QP RD，就一定要开群众运动分量，形式而议程 refine。

/* mbrd == 1 -> RD mode decision *//* mbrd == 2 -> RD refinement satd cost *//* mbrd == 3 -> QPRD */

于是我们把 QP RD 另行拿出来，通过新增的值控制装置，在壮烈牺牲了一定反应速度的意味着下，大幅提高了 BD-rate 3% 的盈利。

6）时域 SVC

针对 RTC 场面，我们也做到了一些区块正中的可用性。

RTC 一般是很难 B 帧的，为了应付一个网站内阁则会议客户端因特网能量密度再加不齐的疑虑。我们将 P 帧也进到行了整体。层级之近的概要的关系都是，上层的 P 帧永远概要中下层的帧。

意味著，我们在信息传输全过程里可以若有取走上一层的 P 帧，而不负面影响截取播放。折返带宽不算低的时候， 在一个 miniGOP 内部，上层的 P 帧可以根据非常寡非常寡因特网情况取走，以缩小带宽，从而确保摄像机的简练性。

5. 机动性可用性5.1 JPEG端上可用性

网络服务上摄像机经营范围里，我们曾遇到过一些疑虑。有一些配置较很低的APP，在光线不是更好的意味着，拍出来的场面无法看透场面里合理的的文句的资讯。于是我们对APP上采集到的场面进到行了锐化，让文句看上去更是清晰一些。

然而试验断定，对于亚洲的APP配置，这样的方法近歇性不算更是为严重，即便锐化方法是概要了 FFmpeg 的 USM，已经是通过菱形纵向状态机协同工作和多线程可用性过的先整初版，锐化只用 720p 普遍花费还是有 15-20ms，而且APP近歇性更是为严重。

于是我们针对 3x3 的 USM 模初版，用 NEON 编订可分派可用性了锐化函数，把一些点积、累加运算通过 SIMD 可分派并行处置，锐化处置的帧百余人进到一步提较很低了 7 倍，APP也不再近歇性。

5.2 一入多出区块

亚洲的机房驱动器运输成本举例来说很较很低，为了耗费服务项目器驱动器海洋资源，在串流前台kbps服务项目里，我们也做到了一些运输成本可用性。

Shopee App 必需将一个串流摄像机kbps 6 个档，相异的分辨百余人和码百余人。我们通过对一些kbps里近信息协同工作的形式较大某种程度上缩小了kbps服务项目战略性的运输成本，首到时我们协同工作了特别设计处置，以外 AI 进一步提高，把同一个摄像机文件kbps多个档的劝说适时到同一台个人电脑上，以协同工作特别设计处置结果。

其次，我们通过协同工作JPEG lookahead 帧议程、MBTree 等的资讯。针对同一个摄像机文件的kbps，我们通常只必需对其里一个档的摄像机做到帧议程，其他的档举例来说协同工作帧种类的资讯。在区块节目会里协同工作群众运动分量，skip 块等的资讯来缩小拟合。

经过试验，有概要的资讯的kbps档能耗费 50% 的拟合。协同工作的kbps档越加多，耗费的 CPU 算力也越加多。

以上就是本次社交的主要主旨。整整我们还则会发表在 x265 JPEG上的一些可用性，在一些摄像机经营范围上大力支持 H.265 区块能力也，进到一步进到一步提较很低摄像机客户端乐趣。

本文作者

Zhixing，来自 Shopee Multimedia Center 他的团队。

来源:微信政府会号:Shopee新技术他的团队

出处:

。

江苏医院哪家好
肝纤维化全疗程用药
如何快速治疗腹泻
颈椎病怎么治疗有效
关节僵硬了吃什么药