HomeProjects信息及通訊科技支持在線分析大數據的可調度容錯分佈式流處理系統

支持在線分析大數據的可調度容錯分佈式流處理系統

項目簡介

項目負責人

  • 李柏晴教授

    計算機科學與工程學系

  • 資助機構

    創新科技署

  • 合作夥伴

    華為技術有限公司 諾亞方舟實驗室

傳統的大數據分析系統(例如MapReduce,Dryad,Spark)最初設計為以離線,基於批量處理的方式工作,需預先提供所有數據,並作整體處理。但是,大數據通常是連續生成的,需要實時處理,例如電信網絡的流動數據。為了解決這個問題,中大研究團隊開發了一個全新的大數據在線分佈式流處理系統AF-Stream,為各種如數據概要、流數據庫查詢及在線機器學習等分析應用提供一個高性能、容錯、和通用的分析平台。AF-Stream實現了一個新的概念「近似容錯能力」,透過減少備份操作的次數以減輕容錯維護的性能開銷,同時限制因在發生錯誤時所產生的流處理誤差。為解決不同的應用需求,AF-Stream可以很容易透過少量參數以調整性能和準確度之間的取捨,因此比其他沒有容錯能力的系統,能更快地處理更多數據。

目標:大規模實時分析連續無限的數據流。

應用:網絡測量(例如異常檢測、流量分佈、故障診斷)、數據挖掘及機器學習(例如頻繁模式挖掘、分類、回溯、預測)。

目標用戶:電信、資訊科技服務營運商、大數據分析行業。

AF-Stream可以很容易透過少量參數以調整性能和準確度之間的取捨
AF-Stream 系統架構

Do you like our project?

MORE TO EXPLORE