量化選股——StockFormer：一種基於多任務目標（迴歸/分類）及高低頻分離的創新選股模型（附源碼）

Abstract 摘要

隨著中國股市不斷發展，市場結構日益複雜，傳統的量化交易方式面臨越來越大的挑戰。特別是，由於政策的不確定性以及突發經濟事件引發的頻繁市場波動，現有模型往往難以準確預測市場動態。為了應對這些挑戰，本文引入了“Stockformer”，一種整合小波變換和多任務自註意力網路的價量因素選股模型，旨在增強對市場不穩定的反應能力和預測準確性。透過離散小波轉換，Stockformer 將股票收益分解為高頻和低頻，精心捕捉長期市場趨勢和短期波動，包括突發事件。

此外，該模型結合了雙頻時空編碼器和圖形嵌入技術，可以有效捕捉股票之間複雜的時間和空間關係。它採用多任務學習策略，同時預測股票收益和方向趨勢。實驗結果表明，Stockformer 在多個真實股票市場數據集上優於現有的先進方法。在策略回測中，Stockformer 在整個市場條件下（無論是上漲、下跌還是波動）始終表現出卓越的穩定性和可靠性，特別是在低迷或波動時期保持高性能，表明其具有很高的適應性對市場波動。

關鍵詞： #量化選股 #價格-成交量因子選擇 #Stockformer #小波變換 #時空圖嵌入 #TopK-Dropout 策略

源碼位置GitHub

I. 介紹 (Introduction)

主要討論了量化金融領域的挑戰以及「Stockformer」模型的提出背景。

1. 中國股市發展與市場結構複雜性：隨著中國經濟的快速增長，中國股市已成為全球重要的資本市場之一。然而，股市的快速發展也帶來了市場結構的日益複雜性和不確定性，使得投資者在追求穩定收益時面臨巨大挑戰。

2. 傳統量化交易方法的局限性：傳統的量化交易方法雖然能在一定程度上捕捉市場規律，但在面對市場突變和不確定性時，其預測能力和響應速度往往不足。

3. 「Stockformer」模型的提出：為了克服傳統方法的局限性，本文提出了「Stockformer」模型。這是一個基於小波變換和多任務自注意力網絡的價格-成交量因子選股模型，旨在提高對市場不穩定性的響應能力和預測精度。

4. 模型創新點：模型的創新點包括多因素模型輸入、高低頻分解、時空編碼器和注意力機制、圖嵌入技術以及多任務學習策略。這些創新點使得「Stockformer」模型能夠更全面地捕捉市場動態，提高預測精度。

5. 模型性能：通過一系列實驗驗證，「Stockformer」模型在多個真實股票市場數據集上的表現優於現有先進方法，特別是在市場波動時能保持高表現。

接下來讓我們直接開始吧

II. 相關工作 (Related Work)

2.1 因子構建 (Factor Construction)

• 因子定义：因子是可量化的變量，影響股票回報，包括市場、風格、行業、宏觀經濟、價格-成交量和機器學習派生因素。

• 經典工作：Fama和French的研究引入了市場因素，如超額回報和波動性。

• 風格因子：Green等人使用橫截面回歸研究風格因子，探討了不同股票類別的相對表現。

• 時間變化因子：Fan等人探索了時間變化因子載荷，提高了因子模型適應市場變化的能力。

• Beta調整：Jensen等人討論了Beta調整股票因子的穩定性，確認了因子回報中的季度和動量效應。

因子是一個可量化的變數，影響股票回報，並包含基本的經濟和金融動態。傳統的因子包括市場因子、風格因子、行業因子、宏觀經濟因子、價格-成交量因子以及由機器學習推導出的因子。Fama開創性工作引入了市場因子，如超額回報和波動性，這些因子概括了整體市場的表現和風險。Green等人利用94支美國股票的截面回歸來研究風格因子，揭示了不同股票類別的相對表現。Fan等人的更近期工作探索了時變因子負載，提高了因子模型對變化市場條件的適應性。此外，Jensen等人討論了經beta調整的股權因子的穩定性，確認了在因子回報截面中存在季節性和動量效應。

我們的研究重點是利用Alpha360的價格-成交量因子來優化深度學習模型的輸入，並提高預測性能。Alpha360數據集包含了六支基本面股票的日數據，這些數據通過歷史回溯和特徵構建形成全面的數據輸入，以增強模型捕捉市場動態的能力。

2.2 股票回報預測模型 (Stock Return Prediction Models)

• 降維模型：使用主成分分析（PCA）等技術簡化資料集，保留關鍵資訊。

• 線性模型：使用帶有懲罰項的模型，如LASSO，以減少雜訊訊息，提高預測精度。

• 非線性模型：基於歷史資料擬合預測變數和回報之間的非線性結構，使用人工智慧演算法如隨機森林、模糊神經網路和長短期記憶（LSTM）網路。

近期機器學習領域的突破，尤其是在降維、罰項項和函數技術方面，為處理股票市場數據中的挑戰提供了新的方法。這些挑戰包括提取有效信息以及處理數據中的非線性關係。研究人員探索了多種機器學習算法來預測股票回報，這些算法大致可分為三類：降維模型、帶有罰項項的線性模型和非線性模型。降維模型如主成分分析（PCA）能夠將高維數據壓縮為低維，同時保留關鍵信息，並與基於樹的分類器結合以提高預測準確性。帶有罰項項的線性模型通過引入罰項來減少噪聲信息，從而提高預測準確率。而非線性模型則能夠擬合數據中的非線性結構，進一步提高預測能力。這些研究展示了機器學習在股票市場預測中的潛力和有效性。

2.3 回測交易策略 (Backtesting Trading Strategy)

• 回測重要性：回測交易策略是投資過程中不可或缺的一部分，可以評估策略績效和風險管理。

• 動態交易策略：Fung和Hsieh提供了對沖基金動態交易策略的經驗性檢驗，建立了回測和評估框架。

• 自動化程式設計：Georgakopoulos展示了自動化程式設計在回測中的效用，詳細說明了從資料獲取到策略實施和風險評估的過程。

• 量化交易基礎：Chan提供了量化交易基礎的全面概述，重點在於回測、數據處理和策略執行。

• 機器學習與金融回測：De Prado強調了機器學習與金融回測的融合，引入了"樣本外"測試以增強策略的穩健性。

  本研究透過利用微軟開發的Qlib框架，實施了包含TopK-Dropout交易策略的回測，旨在驗證Stockformer模型在股票市場中的有效性和穩定性。透過與傳統和先進模型進行對比，本研究不僅提升了交易策略的透明度，也確保了其能在不同的市場條件下保持穩定。儘管回測領域已有顯著進展，但本研究進一步探索了該領域，為投資者提供了更可靠的交易策略。

III. 預備知識 (Preliminaries)

3.1 問題定義 (Problem Definition)

• 股票預測問題：根據投資者採用的具體投資策略，定義了股票預測問題的不同範式。本文採用了面板數據分析方法，這是一種廣泛接受的研究領域範例。

• 數據整合：整合了多個股票在過去一段時間內的回報、趨勢運動和360個價格-成交量因素，以預測未來一段時間內多個股票的回報和趨勢運動。

• 挑戰：準確預測基於在歷史數據集X中識別的模式和趨勢的未來股票指標Y。

3.2 自注意力機制 (Self-Attention Mechanism)

• 自注意力機制：介紹了自注意力機制，這是一種常用於提高股票回報預測準確性的技術，它允許模型捕捉整個輸入序列的全局依賴性。

• 數學表達：提供了自注意力操作的數學公式，包括查詢（Q）、鍵（K）、值（V）的計算過程和softmax函數的應用。

3.3 小波變換 (Wavelet Transform)

• 小波變換定義：小波變換是一種用於信號分層分解的數學工具，涉及縮放函數和小波函數，通過它們的位移和擴展在信號空間中創建穩定的基礎。

• 離散小波變換（DWT）：探討了DWT在金融時間序列（如單一股票的回報序列）中的有效性，用於將回報序列分解為低頻和高頻組成部分。

• 數學表達：給出了DWT的數學表達式，包括低通和高通濾波器的應用，以及如何通過上採樣操作和全連接層來處理這些組成部分。

IV. 方法論 (Methodology)

4.1 整體模型架構 (Overall Model Architecture)

• Stockformer架構：介紹了Stockformer的三個主要組成部分：解耦流層（Decoupling Flow Layer）、雙頻時空編碼器（Dual-Frequency Spatiotemporal Encoder）和雙頻融合解碼器（Dual-Frequency Fusion Decoder）。

• 模型輸入：模型處理歷史股票數據，通過解耦流層將股票回報序列進行小波變換，分離出高頻和低頻成分。

• 模型輸出：預測股票的未來回報和趨勢，包括使用多任務學習策略同時預測股票回報和趨勢。

4.2 解耦流層 (Decoupling Flow Layer)

• 離散小波轉換（DWT）：使用DWT從股票回報序列中提取高頻和低頻成分，分別代表短期市場波動和長期趨勢。

• 上取樣和全連接層：對低頻和高頻成分進行上取樣，並透過全連接層轉換，增強模型的表徵能力。

4.3 雙頻時空編碼器 (Dual-Frequency Spatiotemporal Encoder)

• 時間注意力和擴張因果卷積：結合時間注意力模組和擴張因果卷積層來處理不同的時間序列模式。

• 時間槽和Struc2Vec圖注意力網：使用時間槽表示時間戳，並透過圖嵌入方法來捕捉股票之間的複雜關係。

4.3.1 解耦時間特徵提取(Decoupling Temporal Feature Extraction)

• 時間卷積層與時間注意力：利用時間卷積層專注於局部模式，而時間注意力捕捉長期趨勢。

4.3.2 時間槽和Struc2Vec圖注意力網(Time Slots and Struc2Vec Graph Attention Networks)

• 時間槽：將時間戳記分割成時間槽，以捕捉每日的週期性變化。

• 建構時間圖：建立有向時間圖，以表示時間槽之間的關係。

• 圖嵌入：使用Struc2Vec演算法計算股票之間的相關性，產生高維圖嵌入。

4.4 雙頻融合解碼器(Dual-Frequency Fusion Decoder)

• 預測器：應用在編碼器的輸出上，產生多步驟股票報酬和趨勢的未來表示。

• 融合注意力機制：整合高頻和低頻訊息，以更好地捕捉未來股票回報和內部依賴性。

4.4.1 解耦特徵融合(Decoupling Feature Fusion)

• 融合注意力：使用融合注意力機制結合低頻和高頻成分的信息，以提取有用的長期和短期信息。

4.4.2 多重監督(Multi-Supervision)

• 多重任務輸出：模型輸出包括股票報酬預測和股票趨勢預測機率。

• 損失函數：定義了結合迴歸和分類任務損失的函數，以最佳化模型的多維預測。

5. 價格-成交量因子的建構(Construction of Price-Volume Factors)

5.1 資料來源與股票池選擇(Data Sources and Stock Pool Selection)

• 股票池：選擇了滬深300指數的成分股作為研究對象，這些股票在市場流動性和市值方面表現突出，能夠代表A股市場的整體趨勢。

5.2 因子建構(Factor Construction)

• Alpha360因子庫：利用該庫建構了360個價格-成交量因子，這些因子涵蓋了價格、成交量和波動性等多個維度，確保了市場資訊的全面性。

• 因子分類：將因子分為六類，每類包含60個因子，提供了各類別前兩個因子的建構方法範例。

5.3 因子中性與因子值預處理(Factor Neutralization and Factor Value Preprocessing)

• 預處理步驟：

  • 處理缺失值：使用前一天的股票資訊填入。

  • 極端值處理：排除超出平均數三標準差的資料點。

  • 標準化：對每個因子序列進行Z分數標準化。

• 中性和市場價值中立化：透過產業虛擬變數和市值變數的線性迴歸，使用迴歸殘差作為中性和市場價值中立化的因子序列。

5.4 因子效度測試(Factor Effectiveness Testing)

• 資訊係數（IC）：使用斯皮爾曼等級相關係數來計算IC值，評估因子與資產報酬率之間的相關性。

• IC值分析：提供了對特定時間內360個價格-成交量因子的IC值的分析，顯示了12個特定因子的IC值、標準差、IC值大於0的比例以及IC絕對值大於0.02的比例。

• 因子效度：如果因子的平均IC值大於0.02，則認為該因子有效，並在模型中使用。

6. 實驗(Experiments)

6.1 研究問題(Research Questions)

• 論文提出了五個研究問題，旨在評估Stockformer模型在預測股票回報和市場趨勢方面的表現，分析模型不同組件的影響，研究超參數對性能的影響，確定在回測階段使用哪種模型輸出，以及評估模型在不同市場條件下的投資策略表現。

6.2 實驗設置(Experimental Setup)

• 資料集：使用了滬深300指數的300檔股票的數據，包括股票的報酬序列和價格-成交量因子。

• 評估指標：包括預測績效評估指標和投資組合績效評估指標，用於全面評估模型在股票市場預測方面的表現。

• 基準模型：與多種現有的先進模型進行比較，如XGBoost、LSTM、GRU、ALSTM、TCN、GATs、Transformer和Localformer等。

• 參數設定：描述了Stockformer模型的實作細節，包括使用的最佳化器、批量大小、注意力機制的參數、空間時間編碼器的層數、學習率和衰減率等

• 計算環境：提供了模型訓練所使用的硬體和軟體環境的詳細資訊。

6.3 預測效能比較分析(Comparative Analysis of Predictive Performance)

• 對Stockformer模型在14個子資料集上的預測結果進行了詳細分析，並與其他基準模型進行了比較，展示了Stockformer在多個關鍵效能指標上的優越性。

6.4 消融研究(Ablation Study)

• 透過比較完整的Stockformer模型與其不同變體（如去除某些組件或改變監督訊號）的性能，來評估各個組件對模型性能的貢獻。

6.5 超參數敏感度分析(Hyperparameter Sensitivity Analysis)

• 分析了隱藏層大小、編碼器層數、批量大小和分類損失權重等超參數對模型性能的影響。

這些指標評估各種超參數（包括隱藏層大小、編碼器層數、批量大小和分類損失權重）對模型預測準確性和穩定性的影響。

6.6 回測輸入選擇(Backtesting Input Selection)

• 比較了在回測階段使用分類輸出和回歸輸出的性能，提供了在不同情況下選擇哪種輸出的建議。

6.7 策略回測(Strategy Backtesting)

• 使用TopK-Dropout策略進行了投資策略的回測，並在不同的市場條件下（如上升趨勢、下降趨勢和波動市場）評估了Stockformer模型與其他基準模型的表現。

6.7.1 Topk-Dropout策略（Topk-Dropout策略）

• 描述了TopK-Dropout策略的步驟和原理，這是一種基於因子值排名的量化選股策略。

6.7.2 投資策略回測(Investment Strategy Backtesting)

• 展示了在不同市場條件下，使用Stockformer模型的投資策略相對於滬深300指數和其他模型的年度化回報、最大回撤和夏普比率等性能指標。

7. 結論與未來工作(Conclusion and Future Work)

7.1 結論(Conclusion)

• 模型貢獻：Stockformer模型透過整合小波轉換和多任務自註意力網絡，提高了分析全球證券市場複雜動態的精確度和適應性。

• 数据挖掘：模型深入挖掘了沪深300指数成分股的数据，并使用了360个经过严格测试的价格-成交量因子，显著提升了对市场波动和突发事件的解释能力。

• 技術應用：應用了先進的深度學習技術，包括雙頻時空編碼器、圖嵌入技術和多任務學習策略，這些技術不僅提高了股票回報和市場趨勢預測的準確性，還增強了模型對市場動態細節的檢測能力。

• 实验结果：实验结果显示，Stockformer在多个预测性能指标上超越了十种基线模型，特别是在方向准确率达到57.46%，显著高于其他模型。

• 回測結果：在不同市場條件下的回測結果表明，基於Stockformer的選股模型在上升、下降和波動市場中都取得了穩定的超額回報，並且在風險控制方面表現出色。

• 決策支援：Stockformer為金融市場分析師提供了一個有價值的決策支援工具，幫助他們在動盪的市場環境中做出更明智的投資決策。

7.2 未來工作(Future Work)

• 參數優化：儘管Stockformer模型在股票市場應用中取得了顯著成果，但未來研究仍面臨挑戰與機會。首先，模型使用的波浪變換涉及多個複雜參數設置，如周期尺度和變換深度，這些參數的確定既耗時又需要重複實驗。未來的工作將探索如何在神經網路架構內自動識別和優化這些週期參數，以減輕初步資料處理的負擔。

• 動態股票池：目前模型基於靜態的滬深300股票池。然而，股票池的動態性是股票市場的基本特徵，使用固定股票池可能限制了模型的適用性和預測精度。因此，計劃開發動態更新機制，使Stockformer能夠適應股票池的變化，從而提高其預測的精確度。

• 新股票適應性：隨著新股票的不斷引入，模型需要能夠快速適應這些變化。為此，計劃採用元學習方法來增強模型的適應性，使其在未知市場條件下保持高效的預測能力。

• 改善目標：透過這些改進，Stockformer將更能服務金融市場分析師，幫助他們在動盪的市場環境中做出更精確的決策。

更多內容歡迎關注花雨琦的Telegram頻道：HuaHuaNotes