在 iPhone 11 系列的發布會上,蘋果高級副總裁菲利普?席勒(Philip W。 Schiller)在介紹 iPhone 11 Pro 系列的影像系統時,第一次將計算攝影的概念引入,這個概念也第一次被大眾所熟知。
其實,計算攝影這個概念并不新鮮,最早出現在 94 年就的一篇公開論文中,且認定機內合成 HDR、全景照片以及模擬散景都屬于計算攝影范疇。但當時照片的主流載體還是膠片,數碼相機才剛剛起步,手機上還沒有攝像頭。
幾十年后,影像記錄的載體從膠片換成數字,手機擁有了攝像頭,計算攝影也從理論中走出,漸漸成為一大潮流。
不過這這潮流跟相機關系不大,相機廠商依然按部就班的提高像素、連拍速度和視頻能力,似乎對計算攝影兩耳不聞,拍出來的照片(直出)依舊很平庸,漸漸被智能手機‘超越’。
與之相反的是, 智能手機芯片的算力越來越強,AI、算法、機器學習介入的范圍也更廣,圖像的演繹方法越來越多,最終經過一系列‘算法’處理過的照片也愈發好看。
現在,很多人出門更愿意用手機記錄、分享,而相機越來越少見,這也反應在二者的市場表現上,智能手機市場增速強勁,相機市場則連年萎縮,甚至 DC(卡片相機)都漸漸消失。
這時,就有人會問了,既然智能手機隨手一拍所得照片的觀感這么好,為何傳統的相機廠商不去跟隨計算攝影的潮流,考慮提高照片直出的觀感呢?
是相機算力不夠,算不過來?
這個問題我們先從‘核心’談起。
手機的核心是 SoC,它集成了 CPU、GPU、ISP、NPU 以及基帶等,可以讓你打電話、拍照、看視頻、玩游戲、上網等操作,也直接決定了手機的性能。
而相機的核心部件是圖像傳感器(CMOS),除了元件面積外,跟手機差不多,作成像與感光。另外,控制整套相機系統的中央處理芯片叫做圖像處理器(Image Processor)。
以索尼的 BIONZ X 圖像處理器為例(α7 系列御用),它包括 SoC 和 ISP 芯片,并沒有將 ISP 集成在 SoC 內,優點是索尼可以自行根據 CMOS 的性能需求,而自行增加 ISP 芯片的數量(α7RIII 的 BIONZ X 就配備了雙 ISP),缺點就是集成化程度沒有手機那么高。
BIONZ X 中 SoC 的作用跟手機的類似,控制操控界面與相機功能,性能要求并不高。對圖像傳感器采集的‘數據’進行拜爾轉型、解馬賽克、降噪、銳化等操作,多是依靠 ISP,最終把 CMOS 采集的數據轉換成相機的實時取景。在這個過程中,相機的 ISP 不涉及計算過程,只是把照片當做流水線上的產品,進行統一的處理。
隨著現在相機的像素數、連拍速度以及視頻性能不斷提升,相機的圖像處理器對圖片處理的速度和吞吐量需求很高,單一的數據量很龐大,在不涉及‘計算’的前提下,相機圖像處理器的處理能力遠超過現在智能手機 ISP 的處理能力。
但說到計算攝影,或者說 AI 能力,就有些不太一樣了。智能手機的成像過程有些類似相機,不過在呈現最終畫面之前,還需要 ISP、DSP 的計算,實時調整、優化,尤其是在多攝系統成為主流后,手機的計算數據量成倍增長。
在 iPhone 11 Pro 系列推出多攝系統后,多攝系統能夠平滑、無縫切換的背后是 A13 Bionic 中新增的兩個機器學習加速器龐大的數據處理能力,達到了每秒一萬億次,如此高頻高效的數據處理能力才算是吃下了三個攝像頭所產生的龐大數據量。
相機的圖像處理器多是對原始數據進行預處理,幾乎沒有計算的過程,而手機 SoC 則包括數據采集預處理以及后續的計算過程,二者著重的方向不同。
面向群體不同,市場細分的結果
手機計算攝影發展很快,根源還是因手機的圖像傳感器(CMOS)尺寸太小,以現在的技術,想要在物理上超過或者接近相機只能通過算法優化,拼直出觀感,比如說,自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。
但這些算法的演繹,做到可以‘個性化’干預還是很難,比如說濾鏡加到什么程度,HDR 高光暗部保留到什么程度等。不過,對于面向大眾人群的手機而言,盡可能讓大多數人拍出不錯的照片,更加符合手機的市場定位和人群定位。
自相機發明以來,相機就有著絕對的‘工具’屬性,為了高效,外觀、操控、功能等等均會向效率妥協。面向更小眾的職業人群,自然也會更符合他們的需求,相機們會盡可能的記錄色深、色彩、光線等信息,以便使用者進行更大范圍的后期調整,直出好不好看,并不在他們的需求里。
對于大多數沒有攝影基礎的人來說,隨手獲得一張觀感不錯的照片,遠比得到一張信息豐富的照片更加重要。而對于面向專業領域的相機廠商們,提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。
不過,事情并非那么絕對,相機們也在嘗試改變。富士就一直致力于相機的直出效果,引入了‘膠片模擬’,透過不同的算法,讓拍出的照片更有味道,觀感也更為好看。但這過程并沒有經過場景計算,而是需使用者自行選擇,這與手機的一些膠片模擬 App 有些類似,涉及不到所謂的‘計算攝影’。
AI 后期,才是相機的大方向?
攝影領域中,后期處理是必不可少的步驟,一方面,后期軟件可以充分利用 RAW 格式中所記錄的豐富信息,另一方面也可借助 PC 的高性能和算力來對照片快速處理。
與相機廠商不同,幾乎主流的專業后期軟件都已開始在 AI 上發力,強調 AI 的處理能力。
Adobe 公司的 Photoshop 在近幾個版本的更新中,在摳圖、修復、磨皮等操作中加入了自動識別功能,使得操作越來越無腦,效果越來越精確。而 Mac 平臺上的 Pixelmator Pro 修圖軟件,早在 2018 年就開始借助蘋果的 Core ML 機器學習進行識別圖像,從而進行色彩調整、摳圖、選取,甚至在壓縮輸出時,都運用了 ML 機器學習引擎。
前文所提,現在相機廠商由于芯片 AI 算力限制,和面對小眾市場問題,幾乎沒有在計算攝影上發力。但后期軟件在 AI 上的爆發,也算是在側面彌補了相機們在計算攝影上的短板。
即使算上后期軟件的 AI,相機們依然沒有擺脫傳統的流程,相機們記錄,軟件們處理,這個過程對于大眾們來說,依然繁瑣。對于專業的攝影玩家,后期軟件 AI 的介入,的確能夠減少工作量,讓原本繁復的摳圖等操作變得輕松不少,但依然無法扭轉傳統攝影行業的照片處理(創作)流程,與手機截然不同。
根據 CIPA 的數據,相機市場正逐步萎縮,與之相反的是,手機市場不斷的增長。智能手機上成為潮流的‘計算攝影’,并不會改變相機日趨專業的方向,也不會扭轉相機市場逐步萎縮的局面。
換句話說,即使現在相機們有著與智能手機接近的‘計算攝影’能力,就能挽救‘江河日下’的相機市場嗎?答案當然是否定的,舉個極端的例子,拼直出可行的話,那富士相機會有著第一的市場份額。事實上,現在無反相機第一的寶座,反而被直出并不好看的索尼占據著。
面對來勢洶洶的手機們,相機們只能向著更專業的方向發展,不斷的向上細分市場,近些年全畫幅的 4000 萬、6000 萬高像素,中畫幅的過億像素,以及微單視頻能力不斷接近專業攝錄一體機,都是相機細分市場的產物。
相機專業化越來越強,也就意味著需要性能更佳的圖像傳感器(CMOS),但‘計算攝影’倚重單獨的機器學習模塊,眾所周知,芯片的研發成本高、風險大,相機廠商們難以兼顧二者。計算攝影和發展專業化是兩條不同的道路,同時,對于專業用戶用處不大的‘計算攝影’、‘AI 干預’等特性,相機廠商大概率因平衡研發費用,暫時被戰略性放棄。
在現階段或者可見的未來內,想要相機廠商去擁抱‘計算攝影’風險高、投資大,成效慢,是難上加難,更別說現在還有一眾專業后期軟件用 AI 修圖來托底了。
(圖片轉載至網絡,如果原作者發現圖片的使用不符合本人意愿,請聯系本站作者或客服,將第一時間刪除處理)
下單付款后十分鐘內,您可以在商城眾網的個人中心查看訂單信息