SKA大數據的科學應用和挑戰

大數據典型應用——平方公里陣列（SKA）射電望遠鏡

天文學關注有關宇宙、天體和生命起源的最具有前瞻性的問題，這些問題的突破和解決將極大地推動自然科學基礎理論，促進人類科技水平的整體進步。

由宏偉科學目標驅動的?SKA?射電望遠鏡是我國參加的最大的天文領域國際合作大科學工程。SKA?建成后將成為世界上最大的天文實驗裝置，為人類探索宇宙起源奧秘創造新的機會。SKA?由包括中國在內的?11?個正式成員國以及?10?多個觀察員國參與，建設和運行天文大望遠鏡已經成為一個國家綜合實力的真實體現和重要標志。SKA?總部位于英國，SKA?低頻陣列（SKA-low）包括?130?萬個對數周期天線，擬建于澳大利亞西部沙漠；SKA?中頻陣列（SKA-mid）包括?2?500?個碟形天線，擬建于南非以及南部非洲的無線電寧靜區域，這兩處是經過天文學家十幾年評估和測評后優選出來的最佳臺址。望遠鏡的總接收面積高達?1?平方公里，頻率幾乎連續覆蓋?50?MHz—20?GHz?的范圍，比目前厘米波段最大的射電望遠鏡陣的靈敏度提高約?50?倍、巡天速度提高約?10?000?倍。

作為下一代擔當引領作用的射電天文觀測設施，SKA?將對射電天文學的發展產生深遠影響。SKA?的強大觀測能力體現在其超高靈敏度（mK）、超大視場（數十度）、超快巡天速度、超高頻率分辨率（kHz）、超高時間分辨率（納秒）、超高空間分辨率（亞角秒），這些技術特點使得SKA產生前所未有的超大數據量。

SKA?的建設主要分為兩個階段：第一階段（SKA1）將按照全規模的10%?來建造，預計?2020?年開建；第二階段（SKA2）將完成其余?90%?建設工程，不過目前尚未確定具體計劃。SKA1-low?每個臺站的數據產生率為?2 Tbps，總的數據流是?1?Pb/s。據此規模遞推，SKA2?至少產生?10?倍以上的實時數據流。從上述數據可知，SKA?產生的數據量是空前巨大的，即使經過相關處理后數據量極大降低了，但輸入到科學數據處理器（SDP）的數據也達到了?4?GB/s，是當之無愧的科學大數據。SKA?超大規模的數據流需要及時地以實時模式處理掉，否則會造成整個數據處理管線（pipeline）的堵塞甚至崩潰。采用實時模式、多并發任務、數據流管線系統的處理方式是?SKA?數據處理的幾個典型特點，也是新型科學大數據處理的典型應用。

作為史上最大的射電望遠鏡，SKA?不僅承載孕育世界級科研成果的使命，而且將產生世界上最大規模的數據，因此我們需要充分認識到?SKA?數據處理的巨大挑戰。由于?SKA?工程極其龐大及復雜，為了攻克關鍵技術、降低技術風險，包括中國在內的多個國家先后建設了一些探路者和先導項目，每個項目相當于?SKA?總體規模的?1%?左右，并基于這些先導望遠鏡開展了相關的科學預研究和技術攻關。這些先導設備在理解?SKA?科學目標、建立和逐步完善天空模型、開發和測試數據處理軟件、培養急需的人才隊伍等方面發揮了積極作用，在?SKA?發展歷程中處于不可忽視的地位。需要指出的是，盡管如此，這些先導項目的數據量遠遠不能達到?SKA1?規模，因此與建立真實的驗證參考還有一定的距離。