澳门金沙娱乐城官网-金沙官网

北理工課題組在光卷積神經網絡和機器學習研究方面取得重要進展


63c6cdb9c5eb47c5a69edc86c73ded26.png

日前,北京理工大學物理學院張向東教授課題組利用經典光的關聯特性實現了具有“量子加速”功能光學卷積網絡。相關成果以“Correlated Optical Convolutional Neural Network with “Quantum Speedup””為題發表在Light: Science & Applications期刊[Light Sci. Appl. 13, 36 (2024)]上。北京理工大學物理學院孫亦凡副研究員為該論文第一作者,北京理工大學物理學院張向東教授為論文通訊作者,北京理工大學物理學院孔令軍研究員、李乾博士也為該工作做出了重要貢獻。該研究工作得到了國家自然科學基金委的大力支持。

近年來,在現代計算機技術的加持下,以機器學習算法為代表的人工智能技術得到了極大的發展。這些技術使得人們在圖像識別、自然語言生成與處理、目標檢測等任務中的效率達到了前所未有的高度[Nature, 521, 436(2015)]。特別是在今年,許多國家和地區將ChatGPT這樣一種基于深度神經網絡算法的語言處理軟件名稱作為英文年度詞匯,足見其影響力之大。該軟件能夠幾乎實時地進行普通對答、文字編輯,甚至可以高質量地完成語義歸納、多種語言互譯等相關工作。然而,如此出色的功能背后需要龐大的計算能力作為支撐。根據官方的資料,ChatGPT的模型參數數量超過一千七百億,整個訓練過程需要使用昂貴的設備并花費大量的時間。事實上,這樣的計算資源在現有的設備技術水平條件下已經趨于飽和。因此,如何有效地降低機器學習模型的訓練成本并提高其訓練效率,是目前該領域發展過程中面臨的一個重要問題。

為了解決這樣的問題,除了發展改進原有的經典神經網絡算法以外,人們還在兩個研究方向上做出了大膽的嘗試。他們分別是光學神經網絡和量子神經網絡。光學神經網絡是一種利用先進光學調控手段來執行機器學習算法的經典光學信息處理過程。在該過程中,對算法的執行主要是通過光學狀態調控來完成。相較于傳統的電學設備,光學信息處理設備具有獨特的優勢,例如,與普通環境的弱耦合性、光學并行性、高速傳導性等。所以,以此為基礎的光學神經網絡具有低能耗、低串擾、低傳輸延遲等優點[Nature 589, 44 (2021); Nature 589, 52 (2020)]。但遺憾的是,目前光學神經網絡還并未具有算法結構上的加速效果,例如更快的模型收斂速度等。另一種潛在的改進方式是量子神經網絡。這是一種基于量子計算理論的神經網絡算法。近幾年的研究表明,由于利用了量子態所具有的特殊關聯性質,量子神經網絡能夠展現出算法結構上的加速。其中一個典型的例子是最近人們理論上分析的量子卷積網絡 [Nat. Phys., 15, 1273(2019)]。對該網絡的數值模擬結果表明,其損失函數在訓練過程中具有更快的收斂速度,這也意味著其總的訓練時長可以被有效縮短。然而,由于技術發展的限制,目前這樣的神經網絡算法很難在硬件上大規模執行,這導致其所具有的加速性難以在目前人們面對的實際問題中發揮作用。

綜上所述,一方面,光學神經網絡已經初步具備一定規模的實現能力,并展現出特定優點,另一方面,理論已證明量子神經網絡可以提供算法結構上的加速效果,但在當下很難被大規模實現。最近我們構造出了一種新型經典光神經網絡:關聯光卷積神經網絡。它能將兩種神經網絡的優點相結合,也就是,既具有算法結構加速效果,又能夠相對容易地實現。下面從理論構建和實驗實現兩方面做介紹。

研究亮點之一:具有“量子加速”功能的關聯光卷積網絡理論設計

首先,研究人員利用經典光學關聯性質,從理論上給出了一種能夠與量子卷積網絡相對應的光學神經網絡結構,并將其稱為關聯光卷積網絡。他們的方案示意圖如圖1所示。該網絡的主要結構可以被歸納為四個部分:光源部分,卷積層部分,池化層部分,以及最后的探測部分。這四個部分中,光源部分是最為基礎的部分,是整個方案能夠與量子卷積網絡相對應的根源, 如圖1左側被標注為的光束所示。不同于先前的光學神經網絡,研究人員考慮了一種特殊的經典光學狀態作為信息載體,也即多模偏振態。通過構建該狀態中不同模式之間的正交關系,該狀態可以有效地對量子計算中的多量子比特狀態進行模擬。事實上,本文的研究人員已經在較早之前的工作中指出了多模偏振光的這一性質 [Annalen der Physik, 534, 2200360 (2022)]。光源部分之后是卷積層部分。這部分的功能是對關聯光學狀態進行幺正變換,如圖1藍色區域所示。該變換實際上是由一系列對兩束多模偏振光進行幺正變換的模塊組合而成。這些模塊在圖1中由藍色的長方體標出,其細節展示在藍色的虛線框中。實際上,每一個模塊都由一系列的波片和非線性原件構成,其結構和功能均與量子計算中的雙量子比特通用操作一致。在這之后是池化層部分,如圖1棕色區域所示。本文的研究人員在這里設計的池化操作本質上是基于非線性光學的光束合并操作。通過合并之后,多束偏振光所攜帶的信息會被部分編碼進較少的光束中,這使得參與“運算”的關聯光束的數量能夠被有效減少。與傳統卷積網絡中的池化層相比,該操作同樣實現了數據維度的縮小。不過不同的是,本文中給出的這種方法能夠讓數據維度縮小的效率具備指數特征,其與量子計算中對部分量子比特進行測量從而獲得子空間的過程類似。最終,在反復應用卷積和池化之后,關聯光的輸出需要通過探測部分來完成,如圖1最右側結構所示。在這一部分中,首先需要利用“平衡零拍探測”對出射光束的偏振狀態進行 “投影測量”,然后再對所有輸出光投影信息的關聯進行統計。關聯的大小將被作為輸出結果。值得一提的是,研究人員給出的這種卷積網絡的突出特點在于,利用經典光關聯作為信息的基本載體,并通過對關聯進行調制、統計、以及最終的測量來完成信息處理過程。這樣的關聯光卷積網絡能夠與量子卷積網絡模型之間存在良好的對應關系。

圖1. 關聯光卷積網絡方案示意圖。

為了進一步確認關聯光卷積網絡的效果,研究人員還進行了數值研究,結果如圖2所示。首先,研究人員對比了關聯光卷積網絡與經典卷積網絡在具體數據集上的訓練效果,展示在圖2(a)和圖2(b)中。圖2(a)展示的是兩種卷積網絡在二分類任務中損失函數的收斂情況,圖2(b)中展示的是兩者在四分類任務中損失函數的收斂情況。從圖中結果可以看出,這兩種情形下關聯光卷積網絡的收斂速度均快于傳統卷積網絡方案。這一特點與量子卷積網絡的相一致。除此之外,研究人員還展示了利用關聯光卷積網絡對Haldane模型基態進行分類的結果,如圖2(c)所示。研究人員首先利用光學關聯對Haldane模型的基態進行編碼,然后將對應的關聯狀態(也即上文中的多模偏振光)輸入相應的關聯光卷積網絡中,最后利用輸出的結果分析得到圖2(c)中紅色三角形標注的折線。該折線與由標準方法得到的邊界(由上色背景展示)相吻合。該結果同樣與量子卷積網絡的結果相一致。這些結果進一步表明,關聯光卷積網絡可以展示出量子卷積網絡的基本特性。

圖2.(a)在二分類任務訓練中,關聯光卷積網絡與傳統卷積網絡損失函數隨步驟數的變化情況。(b)在四分類任務訓練中,關聯光卷積網絡與傳統卷積網絡損失函數隨步驟數的變化情況。(c)利用關聯光卷積網絡對Haldane模型基態相變邊界進行確認的結果。

研究亮點之二:關聯光卷積網絡的實驗驗證

為了驗證關聯光卷積網絡的功能及可實現性,研究人員還在他們的工作中展示了對該神經網絡的實驗實現。實驗裝置示意圖如圖3所示。為了便于實驗實現,研究人員對原有方案進行了一定程度的化簡。他們選用激光的空間模式作為多模偏振態中的正交模式,并基于光學關聯態的數學特性選取了特殊的狀態空間來實現對應的關聯光卷積網絡。圖3中展示的關聯光卷積網絡實際上是對一種用于狀態分類的量子卷積網絡的模擬,可以對應三個量子比特作為輸入的情形。如圖所示,該網絡只包含了一個卷積層,池化層的功能被融入了探測過程之中。圖中卷積層中包含的不同功能單元由不同的顏色標出。

圖3. 關聯光卷積網絡的實驗實現示意圖。

通過該實驗設置,研究人員首先研究了不同狀態作為輸入時的網絡輸出結果,如圖4所示。在該過程中,研究人員選擇了十個不同的關聯光學狀態作為輸入,它們分別對應十個不同的三比特量子態。由于該神經網絡的結構設置,輸出的狀態實際上是單束多模偏振光的投影測量結果,對應單比特量子態。考慮到所使用的經典光學狀態與量子比特之間的對應關系,研究人員同樣給出了如圖4中展示的“密度矩陣”表示方法。圖4中不同的子圖對應不同的輸入態情形。每一個子圖中長方柱框的高度表示了理論結果,內部填充顏色的高度表示了實驗結果。可以看出兩者符合得很好。除此之外,研究人員還用該實驗設置對三格點Haldane哈密頓量的基態進行處理,鑒別其所屬的拓撲相,結果如圖5所示。圖5的左圖中的紅點是實驗中直接測量到的輸出結果,藍線為理論曲線,x坐標和y坐標分別對應哈密頓量的參數。首先,從左圖的數據中可以看出理論值和實驗值相吻合。更重要的是,通過對曲線做二階導數處理可以得到清晰的相圖邊界,與圖3(c)中的結果相對應。該結果充分驗證了研究人員提出的理論方案的正確性以及可行性。

圖4. 不同輸入情形下關聯光卷積網絡的輸出。各子圖中左側為實部結果,右側為虛部結果。

圖5. 利用關聯光卷積網絡對Haldane哈密頓量基態的拓撲相進行鑒定的實驗結果。

該研究團隊基于經典光學關聯性質設計了一種新的光學卷積網絡,即關聯光卷積網絡。該網絡可以展現出與量子卷積網絡相對應的性質,包括在特定分類問題上的加速效果,以及實現量子卷積網絡對量子態進行分類的部分功能。并且,研究團隊還利用實驗平臺對該神經網絡進行了實驗研究,驗證了他們的理論結果以及該網絡的可實現性。該研究成果是光信息處理方向的重要進展,為實現更高效的光學神經網絡提供了新的思路。

論文鏈接:https://doi.org/10.1038/s41377-024-01376-7


分享到:

百家乐官网技巧平注常赢法| 娱乐城百家乐官网打不开| 15人百家乐桌布| bet365怎么上不去| 新建县| 至尊百家乐娱乐平台| 百家乐官网开户优惠多的平台是哪家| 威尼斯人娱乐网上百家乐的玩法技巧和规则| 新利百家乐官网的玩法技巧和规则 | 大发888下载 df888| 坐乾向巽24山向择吉| 博九百家乐官网娱乐城| 百家乐官网投注翻倍方法| 威尼斯人娱乐场的微博| 百家乐娱乐城足球盘网| 建始县| 百家乐博彩网太阳城娱乐城| 赌百家乐波音备用网| 百家乐官网e78| 百家乐官网如何看面| 百家乐打法| 大发888在线娱乐游戏| 百家乐投注平台信誉排行| 太阳百家乐官网开户| 乐天堂百家乐官网娱乐平台| 德州扑克保险| 百家乐里什么叫洗码| 时时博百家乐官网的玩法技巧和规则 | bet365贴吧| 大发888城| 星级百家乐官网技巧| 百家乐官网作弊内幕| 大发888信誉888娱乐城| 百家乐有电脑游戏吗| 百家乐官网乐翻天| 任我赢百家乐官网自动投注分析系统 | 喜洋洋水果机遥控器| 网上的百家乐怎么才能赚钱| 百家乐桌手机套| 百家乐官网娱乐城送分| 百家乐网站|