Description

好的，這是一份根據您提供的 "Painting2Auction- Art Price Prediction with a Siamese CNN and LSTM.pdf" 文件所做的詳細摘要：
文件摘要：Painting2Auction: 使用 Siamese CNN 和 LSTM 的藝術品價格預測
簡介
這篇論文探討了藝術品拍賣前價格預測的重要性，並提出了一種使用深度學習來實現自動化預測的新方法。目前，藝術品價格預測主要依賴於經驗豐富的專家，但這些專家的時間有限。深度學習雖然潛力巨大，但在圖像到價格的預測方面尚未達到足夠的準確度。這篇論文的主要目標是開發一個能夠考慮市場因素，同時避免藝術家偏見的藝術品價格預測模型。

• 重要性：拍賣行： 幫助決定哪些作品適合展覽和拍賣，以及如何分組。
• 藝術家： 幫助規劃和決策，並能移除人類評估者可能存在的偏見，如對知名機構相關藝術家作品給予更高估價。
• 市場： 提升資訊透明度，促進更明智的風險承擔，並提高整體流動性。
• 自動化優勢： 解決評估專家能力有限的問題，讓關鍵資訊更易於取得。
• 問題定義：輸入： 待拍賣畫作的圖像、近期拍賣畫作的圖像、拍賣時間和價格。
• 輸出： 預測的美元價格。
• 研究方法：結合計算機視覺和序列建模技術，使用 Siamese CNN 和 LSTM 模型。
• 這是首次在考慮市場背景並排除藝術家偏見的情況下，解決藝術品價格預測問題。
• 模型在準確性和可及性方面都優於以往的方法。

相關研究
論文回顧了以往的價格預測方法，並指出其不足之處：

• 單純基於圖像的模型：未考慮市場背景，直接從圖像預測價格。
• 忽略了同一件畫作在不同時間可能會有顯著不同的價格。
• 分類結果僅比隨機分類好一些。
• 基於多重數據的模型：使用藝術家傳記、專家意見和媒體報導等資訊。
• 使用 NLP 和隨機森林模型。
• 雖然準確度較高，但引入了專家意見，可能導致精英偏見。
• 若已可取得專家意見，自動化預測的意義便降低。

數據集和特徵
論文使用了兩個數據集：

• 圖像到藝術家數據集：來自 Kaggle，包含 7,943 幅不同風格和時期的畫作，僅有藝術家標籤。
• 為了訓練 Siamese CNN，移除了少於 30 幅作品的藝術家。
• 為每個藝術家生成 30 對正向和 30 對負向訓練對，共 6,708 對。
• 將所有圖像調整為 224x224x3 像素的陣列，並將像素值正規化為 0 到 1 之間。
• 圖像到價格到時間數據集：從 Phillips 拍賣行的網站上抓取，包含 23,825 個銷售數據。
• 每個數據點包含圖像、價格（轉換為美元，範圍從 13 美元到 63,362,500 美元）和拍賣時間（2006 年 10 月至 2020 年 10 月）。
• 圖像大小和像素值處理方式同上。

方法
模型架構包含兩個部分：

• Siamese CNN：用於評估兩張圖像之間的相似度，輸出距離向量。
• 在 Model 1 和 Model 2 中都使用相同的結構。
• 透過訓練，讓模型學習根據視覺特徵判斷藝術風格的相似性。
• 價格預測模型：Model 1： 使用 k-最近鄰算法（k-NN）預測價格。
• Model 2： 使用 LSTM 預測價格。
• 所有模型皆使用 Keras 和 TensorFlow 建立。

4.1 Siamese CNN

• 測試了多種 CNN 架構，評估其在二元分類任務（「相同藝術家」或「不同藝術家」）上的表現。
• 每個 CNN 被嵌入到 Siamese 網路中，將兩個圖像壓縮為 128 維的向量編碼。
• 計算編碼的差異向量，並通過全連接層縮減為單個值。
• 最後一層使用 Sigmoid 激活函數，判斷分類結果。
• 使用二元交叉熵損失函數和 Adam 優化器。
• 評估的架構包括：多層感知器、香草 CNN、更深的香草 CNN、ResNet-50、Inception v3 和 EfficientNet b7。

4.2 Model 1：使用 k-最近鄰算法進行價格預測

• 使用 Siamese CNN 判斷待測畫作與近期拍賣畫作的相似度。
• 選擇最相似的 k 個畫作，並取其價格的中位數作為預測價格。
• 使用平均絕對百分比誤差（MAPE）評估準確性。
• 使用中位數而非平均值，以減少異常價格的影響。

4.3 Model 2：使用 LSTM 進行價格預測

• Siamese CNN 與 LSTM 直接連接，允許參數更新傳遞至 CNN 的卷積層。
• LSTM 的輸入為近期拍賣畫作的特徵向量，並在末尾加上價格。
• LSTM 架構為簡單的多對一架構，單層循環層，10 個隱藏單元，ReLU 激活函數。
• 使用均方誤差損失函數和 Adam 優化器，並調整學習率和輸入序列長度。
• 使用均方根誤差（RMSE）和 MAPE 評估準確性。

結果
5.1 基線模型

• 直接從圖像預測價格的 CNN 模型，RMSE 為 854,743 美元 (MAPE = 1,841)。
• 隨機返回數據集中其他畫作價格的「預測器」，RMSE 為 1,570,903 美元 (MAPE = 2,351)。

5.2 Siamese CNN 結果

• 香草 CNN 在二元分類任務中表現最佳，驗證準確度達到 86%。
• 預訓練的權重微調後並未顯著提升表現。

5.3 價格預測

• Model 1 (k-NN)： MAPE 為 227，k 和 n 分別為 10 和 200。
• Model 2 (LSTM)： 測試集 MAPE 為 100.08，RMSE 為 279,079 美元，序列長度為 20，學習率為 0.001。

討論與未來工作

• 新模型在藝術品價格預測方面顯著優於現有的深度學習方法。
• 模型能夠有效整合視覺輸入和近期拍賣數據，並避免藝術家偏見。
• 未來工作方向包括：
• 使用更大的數據集。
• 改進歷史拍賣數據的儲存方式，例如儲存特徵向量而非圖像。
• 針對 LSTM 的超參數進行更細緻的調整。

重要引述

• "These paintings then fetch higher prices as a sort of self-fulfilling prophecy, and the elitism in the art world is self-reinforced. The artist-agnostic evaluation made possible by automation would represent a step toward a more open and equitable art market." (藝術品價格受到自我實現的預言影響，藝術界中的精英主義因此加強。自動化實現的藝術家無關評估，將朝向更開放、公平的藝術市場邁進。)
• "To my knowledge, this is the first time that the painting price prediction problem has been addressed in a way that both accounts for market context and excludes artist bias, and the result is an improvement on the accuracy and accessibility of previous approaches." (據我所知，這是首次在考慮市場背景並排除藝術家偏見的情況下解決藝術品價格預測問題，且結果在準確性和可及性方面都有所改善。)
• "The LSTM (again with the Vanilla CNN incorporated as the CNN for its Siamese Net stage) per-formed even better, achieving a test set performance of MAPE 100.08 (RMSE = $279,079)." (LSTM 模型表現更佳，測試集的平均絕對百分比誤差為 100.08，均方根誤差為 279,079 美元。)

結論
這篇論文成功地展示了使用 Siamese CNN 和 LSTM 進行藝術品價格預測的可行性，並取得比以往方法更優異的成果。此研究為藝術市場帶來了更透明、公平和自動化的潛力。