台北富邦銀行 花五年升級新系統 的經驗學習 - 2020

銀行系統大多數都有 30~40年以上的歷史，但是跟錢有關的系統，通常都沒人敢換，台北富邦銀行(2881-TW)花 5 年時間籌備新系統，動員 73 萬人次，並進行 8 次大規模的平行測試，上線後還是會遇到不少問題，大約花 2週的時間慢慢修復 (10/8 ~ 10/23)，現在看新聞感覺應該是穩定多了，不過不曉得內部實際情況如何~

核心系統要換的成本和風險都很高，系統經歷這麼久的時間，每個資訊長都說該換，但什麼時候換，都說等他退休再換... XD

就新聞的內容來學習一下富邦銀行的一些經驗吧~

台北富邦銀行 花五年升級新系統 的經驗學習

系統升級 花費時間參考

  • 玉山花4年
  • 北富銀從2012年就開始規劃，2015年啟動轉換，2020/10正式切換 (核心系統已經使用30年)
  • 第一銀行去年開始規劃，今年找來外部顧問，啟動系統盤點和人力評估，預估將花上5年 (一銀的核心系統已用了37年)

下面的內容參考多篇新聞，此兩篇比較完整，蠻值得參考看看：

繼續往下看之前，有幾個名詞需要知道：

  • 何謂核心系統、周邊系統？
    • 核心系統是銀行的心臟，處理銀行存放款的帳務和顧客基本資料，周邊系統就很多了，從不同通路，如分行、ATM、客服、網銀、行銀都各是一套系統，流程作業像放款徵授信的 eLoan 系統、反洗錢 AML 系統，也都是周邊系統。一家銀行通常有 300 ~ 600 個系統不等，核心系統只是其中之一。
    • 簡單說，就是「主核心」做最主要的功能(例如：收付款)，剩下審核、放款、徵信那些額外的，都是「周邊系統」，透過 ESB 外掛到「主核心」
  • 何謂ESB（企業服務匯流排）？
    • ESB，英文全名是 Enterprise Service Bus，讓周邊系統透過它與核心系統串接，進行資料傳遞和訊息溝通。因為不同系統的開發時間不同，資料格式可能不同，譬如日期，有的系統用西元，有的用民國，各系統為了與核心要資料，必須透過 ESB 轉譯，確保溝通順暢。通常分行系統和 ATM 系統，由於開發時間較早，都直接連回核心，但行銀、網銀就會透過ESB再連到核心系統。
    • 簡單說，就是「核心系統」串接到「週邊系統」的界面(整合溝通界面，統一 API 的意思)

目前想到就從下面這幾個面向來彙整新聞資訊

  • 富邦銀行為何要更換系統
  • 富邦銀行新系統有何改變
  • 富邦銀行系統廠商的選擇
  • 富邦銀行系統升級的前置作業
  • 富邦銀行系統升級後遇到的問題

富邦銀行為何要更換系統

  • 官方說法：
    • 加快系統反應、異業合作更彈性
    • 省電40%，實踐ESG承諾
  • 系統使用年份久遠：富邦2002年與台北銀行合併以來，最大規模的系統轉換。淘汰的舊系統是被併的台北銀行的舊系統，使用超過30年。
  • 數位金融 時代來臨，若傳統銀行的IT架構不變，不只FINTECH，就跟未來三家純網銀比較，都落後一截。
  • 核心系統若不升級，新的週邊系統串接早晚也會卡關
  • 把原本在核心系統的功能移出，未來業務功能調整時，可更有彈性、也更具時效
  • 但因為把原本在核心系統的功能移出，加上原本周邊系統有超過上百個，使得扮演核心系統與周邊系統中介角色的ESB更為吃重。

富邦銀行新系統有何改變

  • 新舊系統主要的改變是，幫過去集中帳務、資料、應用和介接程式的核心系統瘦身，讓核心系統只保留單純的業務功能
  • 簡單說：主要是將「核心」簡化，只保留單純的業務功能，剩下的都拆到外部週邊系統去(類似 Linux Mini Kernel，剩下都外掛模組進來)

富邦銀行系統廠商的選擇

  • 印度的塔塔顧問諮詢服務公司 (Tata Consultancy Services；TCS) 共同開發，這家公司是全球市值第二大的資訊科技服務商，業務版圖遍及全球46個國家，橫跨運輸、金融、網路等各產業的軟體系統
  • 註：通常這種升級都要找知名企業，出事的時候就可以說，我已經找頂級企業還是出事，也沒辦法了~ XD

富邦銀行系統升級的前置作業

  • 升級幕後：五年籌備、動員73萬人次
  • 北富銀在60天前就啟動通知機制，透過多方管道、多頻次告知客戶停機事宜，在停機期間，客戶若臨時有緊急資金需求，也可以在10/9~10/10早上9:00至晚上22:00，到北富銀全台127家分行辦理
  • 預計 10/8 22:00 ~ 10/10 22:00 期間，進行新系統測試作業，暫停自動化設備

富邦銀行系統升級後遇到的問題與檢討

問題

  • 新系統 10/10 上線後大當機至 10/12 下午 5 點仍未處理好，只剩 ATM 正常
    • 10/12 (隔天)回覆原因：新銀行系統上線後，核心系統運作正常，會有災情(網路銀行 / 行動銀行速度較慢)是因為：「連結周邊系統的銀行企業匯流排（Enterprise Service Bus, 簡稱ESB）系統效能問題導致部分服務無法順利完成。」工程團隊持續調校系統參數設定，增加系統資源，並強化流量監控適配。
    • 事隔兩周，北富銀獨家回應，上線第一天，系統發生測試階段意料外的狀況，因此負責資料拋接的系統──ESB（企業服務匯流排)，因參數設計失誤，ESB回應時間較慢，未能即時處理App、網銀的線上交易，客戶才會覺得App當機或跨行轉帳交易失敗
  • 10/11 發生在 ATM 無法領錢但帳戶卻扣款成功，還有在 App 上使用網路轉帳時也出現同樣錯誤，用戶連系統都無法登入，就算成功進入系統也有連線變慢的問題
    • 富邦回應：「這是由於新系統轉換升級後，對大量交易的表現不如預期，所以導致交易速度緩慢，甚至逾時而無法完成。不過核心系統並沒有問題，主要是週邊的子系統出問題，銀行企業服務匯流排速度跟不上。」
    • 註：這是模擬測試時所沒有發現的意外 (通常上線遇到大量的問題，模擬測試很難測試出來)
  • 10/10 晚上系統剛上線後，當機、連線問題、行動銀行轉帳發生異常等問題，網銀、行動網銀、行動支付等「災情」不斷，只有 ATM 正常運作，北富銀客服電話被打爆

檢討

  • 總結兩點疏失：ESB參數設錯 + 測試情境不完整
  • 儘管系統轉換前經過多次測試，也找第三方顧問公司檢視整體測試的有效性，但受限於人工測試無法檢驗極端值，譬如：交易爆大量，以至於系統上線仍發生意外狀況。
  • 總結的說，就是北富銀對於新的核心系統結構缺乏經驗，導致評估錯誤。另外，就是測試做得不夠完善。
    • 註：「大部分銀行20年碰到一次，銀行裡的人不會很習慣做這件事，」許多銀行資訊人員終其一生只會遇到一次換系統。
  • 截至23日，新核心系統、網銀、ATM等業務功能，已大致恢復正常
  • 核心系統上線多多少少都會有些問題，關鍵在問題可不可控以及多快被排除。北富銀系統問題持續超過一周，顯示新系統導入確有瑕疵，但沒有南山人壽離譜。
  • 北富銀從自身經驗，歸納4點建議：
    • 人工測試只能測出已知的情境，未來系統測試應走向高度自動化，才有辦法涵蓋異常測試；
    • 業務功能要定義清楚，甚至流程的改變也牽涉組織設計，必須配套俱足，新系統上線才能真正幫公司轉型；
    • 專案管理辦公室、戰情室、緊急應變小組超前部署，確保系統上線之後，能在最短時間解決問題；
    • 全面完整的客戶溝通，包括事前預警、事後服務，甚至停機期間，確保客服和分行可供急用的客戶提領現金，儘可能將影響降到最低。
  • ESB 回應時間會造成的問題，下面有數字可以參考：
    • 台北富邦銀行 回應時間、交易人數
      • 早上10點網路、行動銀行在線交易人數達3000人，ESB回應時間為1至2秒(已相當舊核心系統在農曆年期間之峰值及效能)。
      • 中午12點30分網路、行動銀行在線交易人數約2000人（另同時在線查詢人數約15000人），ESB回應時間提升為0.3至0.4秒。
    • 網行銀效能已回復正常。早在昨晚，台北富邦銀行宣布ESB系統問題「大致獲得改善」後，開始有用戶反映登網銀「是正常了」並幫北富銀緩頰「剛升級完用的人多，小塞難免。」

相關網頁

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。