延遲回聲狀態(tài)神經(jīng)網(wǎng)絡用于復雜系統(tǒng)分析和應用
打開文本圖片集
摘要：提出一種改進的回聲狀態(tài)神經(jīng)網(wǎng)絡模型，用于復雜系統(tǒng)的長期行為分析和預測，模型通過引入隱層狀態(tài)的延遲反饋體現(xiàn)系統(tǒng)過去時刻的信息對當前狀態(tài)的影響，避免了傳統(tǒng)回聲狀態(tài)網(wǎng)絡方法記憶能力弱的缺點以及獲得最優(yōu)參數(shù)的困難，
關(guān)鍵詞：回聲狀態(tài)網(wǎng)絡；混沌時間序列；儲備池計算；穩(wěn)定性；長期預測
中圖分類號：0193文獻標志碼：A文章編號：1671-5489（2024）05-1017-05
Delayed Echo State Neural Network for Analysisand Application of Complex Systems
XU Yichen1，Eric Li2-3
（1.School of Information，Renmin University of China，Beijing 100872，China
2.School of Computing，Engineering&DigitalTechnologies，TeessideUninversityMiddlesbrough TS1 4，North Yorkshire，United Kingdom
3.College of Mathematics，JilinUniversity，Changchun 130012，China）
Abstract：We proposed an improved echo state neural network model for the analysis and prediction of long-term behavior of complex systems.The model introduced the delayed feedback of hidden layer state to reflect the influence of the past time information on the current state of the system，avoiding the shortcomings of weak memory ability and difficulty of obtaining optimal parameters in traditional echo state network methods.
Keywords：echo state network;chaotic time series;reservoircomputing;stability;long-term prediction
回聲狀態(tài)網(wǎng)絡（ESN）是一種新型的回歸人工神經(jīng)網(wǎng)絡（RNN）模型，由于其在復雜動態(tài)系統(tǒng)預測問題上性能優(yōu)異，因此在科學和工程領域已引起廣泛關(guān)注[4]，ESN的核心思想是先通過使用儲備池（reservoir）將訓練數(shù)據(jù)投影到高維特征空間中，然后通過讀出權(quán)重將高維狀態(tài)映射到輸出數(shù)據(jù)，讀出權(quán)重可通過線性嶺回歸算法計算，克服了使用梯度下降算法帶來的梯度爆炸和梯度消失的困難[5-12]但現(xiàn)有的ESN模型所體現(xiàn)的系統(tǒng)特征隨著時間的推移逐漸消失，在當前時間附近的輸入特征顯著，而對于遠離當前時間的輸入特征太弱而無法回憶，ESN模型這種重視短期行為導致記憶能力不足的特點限制了其解決復雜系統(tǒng)長期預測問題的能力.基于此，本文提出一種具有延遲反饋的回聲狀態(tài)網(wǎng)絡模型（delay-ESN），通過考慮儲備層中神經(jīng)元的延遲效應，引入隱層狀態(tài)的延遲反饋體現(xiàn)系統(tǒng)過去時刻信息對當前狀態(tài)的影響，從而提高系統(tǒng)的記憶性能.
1回聲狀態(tài)網(wǎng)絡
回聲狀態(tài)網(wǎng)絡是一種特殊的回歸神經(jīng)網(wǎng)絡模型，由輸入層、輸出層和儲備池層組成.儲備池層由大量隨機相連的神經(jīng)元構(gòu)成，將輸入信號映射到更高維度的狀態(tài)空間.假設一個ESN的輸入層包含D個單元，儲備池層有N個單元，輸出層有d個單元.若u（t）∈RD，x（t）∈RN，y（t）∈Rd分別表示外界的輸入、儲備池的輸出及整個網(wǎng)絡的輸出，則儲備池層節(jié)點的動力學可以表示為
其中Wm∈RNxD，W∈RNxN分別是輸入-儲備池層的權(quán)值和儲備池層權(quán)值，這些權(quán)值隨機產(chǎn)生并且在運行過程中不需要更新.整個ESN網(wǎng)絡的輸出為
這里[·；·]表示縱向串聯(lián).在回歸任務中，f（·）通常為單位函數(shù)，W∈Rdx（N+D）可以通過嶺回歸算法計算[2.矩陣W的設計是ESN是否成功的關(guān)鍵，其主要受稀疏度和譜半徑rm等參數(shù)的影響，其中稀疏度通常為10%～20%，譜半徑通常被歸一化為m<1以獲得回聲狀態(tài)特性[2]。（剩余4607字）