Facebook 開源的分散式有順序資料儲存系統 LogDevice

LogDevice 是可以擴展而且支援容錯的分散式 Log 系統,而且能夠有高效率的儲存順序性的資料。

LogsDB 是架構在 RocksDB - Wikipedia 之上,不過 LogsDB 好像沒有釋出。

Facebook 開源的分散式有順序資料儲存系統 LogDevice

LogDevice 是 Facebook 從頭設計打造的日誌系統,採用分散式架構,可快速擴展與容錯。

LogDevice 跟一般分散式系統一樣,會在不同的機器上除存紀錄的副本(以多機器來解決備份和資料遺失的問題),若有機器故障、損壞、速度變慢、空間不足等,都會自行調配運作。

官方網站與說明

下述摘錄自此篇:臉書開源可擴展且容錯的分散式日誌系統 LogDevice - 此篇的介紹非常清楚

  • LogDevice 是臉書從頭開始設計的日誌系統,其可擴展且容錯的特性,只要叢集中部分節點繼續運作,LogDevice 仍然可以完成高效寫入工作負載。
  • LogDevice 提供了多種類型的日誌格式,並且使用一種稱為非確定性分散記錄放置(Non-deterministic Decentralized Record Placement)技術,即便叢集中的某些節點嚴重發生問題,LogDevice依然能提供低延遲、高可用性與一致性的資料寫入服務。
  • 其他分散式系統類似,LogDevice 會在不同的機器上儲存每筆紀錄的副本,來達到耐久性要求,透過這些副本的放置選項,在叢集中的許多儲存節點發生故障、速度緩慢或磁碟空間不足,只要叢集中部分節點繼續運作,LogDevice 仍然可以完成高效能寫入工作負載。
  • LogsDB 是寫入資料最佳化的儲存應用,目的在減少硬碟搜尋的次數,並且維持 寫入 和 讀取 的 I/O 模式都是有序的。而 LogsDB 提供的 寫入最佳化,即便分屬不同的檔案或是日誌,LogDevice 在寫入資料的時候仍可以維持極高的效率,但這也是犧牲一些存取模式的讀取效率換來的。
  • LogDevice日誌提供紀錄一致性保證,多個寫入器可以對同一個日誌並行增加紀錄,所有這些紀錄都能以相同的順序交付給日誌讀取者。
  • LogDevice 提供內建的資料遺失檢測報告功能,當偵測到紀錄遺失,LogDevice會遞送錯誤報告給所有相關的讀取者。

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料