近幾年，深度計算的應(yīng)用可以說是越來越廣泛了。
舉個例子，過去幾年時間，國內(nèi)就有科研人員鼓搗著，用 AI 建立機器學習模型，對疫情可能擴散的范圍和趨勢進行預(yù)警，甚至還有科研人員通過訓(xùn)練 AI 深度學習，檢測病毒感染情況。
到了電腦領(lǐng)域，深度學習帶來的最大變化，可能就是英偉達隨著RTX 20系Turing架構(gòu)GPU引入的NVIDIA DLSS技術(shù)了。
通過預(yù)先訓(xùn)練好的AI模型，DLSS技術(shù)允許用戶在渲染一個較低分辨率的畫面的基礎(chǔ)上，結(jié)合深度學習神經(jīng)網(wǎng)絡(luò)模型將其上采樣到設(shè)定的高分辨率，通過降低顯卡硬性負載的方式來提升游戲幀數(shù)。這樣就能在保證用戶畫面體驗的情況下，讓游戲更加流暢地運行。
（圖源：英偉達）
到了這里，有些思維活絡(luò)的讀者可能已經(jīng)想到了。DLSS技術(shù)本質(zhì)上是一個提升幀數(shù)+畫質(zhì)的技術(shù)，如果我們不將它應(yīng)用到游戲上面，而是通過現(xiàn)有模型對低分辨率視頻本身進行超采樣呢？
那就是我們今天要聊的主角——RTX視頻超分辨率技術(shù)。
在線視頻之殤
事實上，應(yīng)該有不少人擁有著同樣的感受，那就是對于視頻畫質(zhì)的感知及要求明顯比過去高了不少。
以前只要手里端著臺手機，似乎480P、720P視頻都覺得清晰無比，而現(xiàn)在即便視頻網(wǎng)站普及了1080P、1440P甚至4K畫質(zhì)，但是肉眼看上去的感覺似乎總是讓人覺得差點意思。
（圖源：嗶哩嗶哩@犬山玉姬）
為什么在線視頻網(wǎng)站的分辨率提升了，但是實際畫質(zhì)卻變差了？
罪魁禍首，在于視頻碼率。無論是視頻上傳時的標準化轉(zhuǎn)碼，還是對原始視頻進行統(tǒng)一存儲、管理直到最后分發(fā)到用戶的設(shè)備上，這一整套流程的成本是十分昂貴的。
現(xiàn)如今，幾乎所有視頻平臺都面臨著嚴峻的營收問題，為了開源節(jié)流，他們選擇用壓縮碼率的方式來節(jié)約算力、帶寬與成本。盡管這樣可以維持視頻的分辨率，但是因為碼率降低，最終呈現(xiàn)出來的視頻上不可避免地存在一些肉眼可見的偽影、殘像或噪點，這就是信息丟失。
盡管這些信息丟失大概率不會影響觀眾去完整理解視頻，但它們必然會影響到用戶的觀看體驗。在2K、4K顯示器開始普及的當下，人們的在線視頻體驗反而一天不如一天，可謂是當今視頻平臺的一大原罪。
（圖源：知乎@犬山玉姬）
沒想到，英偉達成為了第一個看不下去的。
在CES 2023 GeForce Beyond直播中，英偉達宣布了新的RTX視頻超分辨率（RTX Video Super Resolution）技術(shù)。
根據(jù)官方介紹，該技術(shù)原理和DLSS類似，可以利用深度學習和神經(jīng)網(wǎng)絡(luò)AI技術(shù)移除視頻壓縮的塊效應(yīng)并提高視頻分辨率，從而改善通過瀏覽器觀看的任何視頻的質(zhì)量，讓人們能夠在高分辨率顯示器上以原生分辨率觀看在線內(nèi)容。
（圖源：英偉達）
當然，類似的技術(shù)其實并不是第一次出現(xiàn)，例如anime4k、waifu2x等算法在超分辨率方面已經(jīng)非常成熟，只可惜這些功能大多只能對本地視頻處理，而我們正在經(jīng)歷的卻是一個毋庸置疑的流媒體時代。
（Waifu2x技術(shù)展示）
作為對比，視頻超分辨率技術(shù)最大的應(yīng)用場景，正是流媒體領(lǐng)域，也就是我們平時在各種視頻平臺觀看的直播與視頻。根據(jù)官方介紹，無論是通過斗魚，虎牙，嗶哩嗶哩等平臺觀看您喜愛的主播的直播，還是觀看視頻主發(fā)布的視頻內(nèi)容，都能借助視頻超分辨率技術(shù)來獲取更高分辨率且高清的畫面。
對于狂熱的視頻愛好者而言，這無疑是喜事一樁。
畫質(zhì)的救世主？
問題來了，技術(shù)有了，什么時候才能用上呢？
終于，在2月28日這天，英偉達正式發(fā)布了531.18 WHQL驅(qū)動程序，該驅(qū)動不但為支持DLSS 3的最新游戲提供最佳優(yōu)化體驗，同時還實裝了用戶期待已久的視頻超分辨率技術(shù)。
（圖源：英偉達）
要想用上視頻超分辨率技術(shù)，我們需要準備兩樣?xùn)|西。首先，是一張RTX 30/RTX 40系顯卡，目前僅有全新兩代顯卡才能使用視頻超分辨率技術(shù)，而RTX 20系顯卡支持將隨時間更新。
其次，則是v110版本或者以上的Chorme瀏覽器。目前只有Chorme瀏覽器加入了視頻超分辨率技術(shù)的支持，英偉達表示，未來使用Chormium內(nèi)核的Edge瀏覽器等第三方瀏覽器都會加入支持。
接下來就簡單了，我們將驅(qū)動更新到 531.18 WHQL 版本，并在英偉達控制面板中打開視頻超分辨率選項，就可以在最新版Chrome瀏覽器中看到效果。
目前視頻超分辨率共有4檔可調(diào)，其中第1檔性能要求最低，但畫面提升就沒有那么顯著；第4檔性能要求最高，但畫面效果也最好。英偉達表示，所有RTX 30/40顯卡都可以開啟第1檔質(zhì)量模式，但是只有70級及以上的高端顯卡才能播放第4檔內(nèi)容，用戶可以綜合自己的需求選擇。
我們先來看看英偉達提供的官方示例，這是一段在城堡上空盤旋的無人機航拍風景視頻。
如圖所示，在開啟視頻超分辨率技術(shù)之后，原視頻中因為信息丟失而缺少立體感的墻體變得十分清晰，每塊磚頭的縫隙都清晰可見，周圍的樹葉也從糊成一塊變得區(qū)分明顯，畫面細節(jié)感強了不止一個檔次。
（左：原圖，右：VSR，圖源：英偉達）
接下來測試流媒體內(nèi)容，為了盡最大可能展示超分辨率技術(shù)的性能，我們將畫面原生分辨率設(shè)置到360P，超分辨率設(shè)置為4檔，也就是它能夠接受的最低原生分辨率來展示效果。
首先是開箱視頻，如圖所示，在開啟視頻超分辨率技術(shù)后，刀身的圖像質(zhì)量有了顯著提高，不但有效抑制了噪點和鋸齒的產(chǎn)生，就連刀上面刻下的署名也變得清晰許多。
（左：VSR，右：原圖，圖源：youtube）
再來看看在相對復(fù)雜的游戲視頻中的表現(xiàn)，在這份APEX的游戲錄像中，視頻超分辨率技術(shù)讓槍身上的殘彈提示和靶子上面的圖案都清晰了不少，但是高速移動時的殘影顯然無法處理。
（左：VSR，右：原圖，圖源：youtube）
考慮到整體輸入畫面只有360P，這樣的表現(xiàn)還是非常驚艷的。
當然，開啟顯卡超分辨率功能，自然會存在功耗的提升。根據(jù)外媒tomshardware測試，顯卡功耗會隨著超分辨率擋位的上升而提升，在1檔的情況下會增加4W左右的待機功耗，4檔的情況下所需功耗則會翻倍。整體來說，功耗增加情況并不明顯，但是存在功耗異常增加的情況，希望后續(xù)能夠修復(fù)。
（圖源：tomshardware）
普及仍需時日
最后，英偉達的視頻超分辨率技術(shù)有用嗎？
答案是有用的，經(jīng)過我們實際測試，在開啟視頻超分辨率技術(shù)后，碼率不足的視頻畫質(zhì)明顯提升了一個檔次，不僅銳度、亮度都有了顯著提升，而且很多視頻上傳過程之中所丟失的細節(jié)也會得到補充，原本的模糊感幾乎都不見了。
（圖源：英偉達）
但是，這并不意味著視頻超分辨率就是萬能的。從目前測試的表現(xiàn)來看，這項技術(shù)可以讓畫面變得更清晰，但是并不能夠顯著提升視頻畫質(zhì)，而且對于動態(tài)效果顯著的畫面也會出現(xiàn)失靈的情況。換言之，如果你的想法跟我一致，希望利用這項技術(shù)重看油管虛擬主播的打槍錄播的話，那體驗其實并不會很好。
不僅如此，受到英偉達產(chǎn)品戰(zhàn)略的影響，目前視頻超分辨率技術(shù)僅支持RTX 40系列和RTX 30系列GPU，而這兩個系列的GPU在市面上的占比僅有不到20%。換言之，目前超過80%的用戶都無法享受到該功能，即便理論上RTX 20系顯卡也能在未來通過驅(qū)動更新支持這一功能亦是如此。
好消息是，除了高貴的RTX 30、40系顯卡，根據(jù)Chorme更新的代碼顯示，其實英特爾的顯卡同樣支持這項功能。如果你擁有英特爾的核顯/獨顯，特別是Iris架構(gòu)的核顯，那么不妨馬上更新Chrome瀏覽器試試，說不定就能省下一張RTX 30系列顯卡的價錢。
至于AMD ，目前是無緣了。
本文為轉(zhuǎn)載內(nèi)容，授權(quán)事宜請聯(lián)系原著作權(quán)人。
