台北富邦銀行 花五年升級新系統 的經驗學習 - 2020

銀行系統大多數都有 30~40年以上的歷史,但是跟錢有關的系統,通常都沒人敢換,台北富邦銀行(2881-TW)花 5 年時間籌備新系統,動員 73 萬人次,並進行 8 次大規模的平行測試,上線後還是會遇到不少問題,大約花 2週的時間慢慢修復 (10/8 ~ 10/23),現在看新聞感覺應該是穩定多了,不過不曉得內部實際情況如何~

核心系統要換的成本和風險都很高,系統經歷這麼久的時間,每個資訊長都說該換,但什麼時候換,都說等他退休再換... XD

就新聞的內容來學習一下富邦銀行的一些經驗吧~

台北富邦銀行 花五年升級新系統 的經驗學習

系統升級 花費時間參考

  • 玉山花4年
  • 北富銀從2012年就開始規劃,2015年啟動轉換,2020/10正式切換 (核心系統已經使用30年)
  • 第一銀行去年開始規劃,今年找來外部顧問,啟動系統盤點和人力評估,預估將花上5年 (一銀的核心系統已用了37年)

下面的內容參考多篇新聞,此兩篇比較完整,蠻值得參考看看:

繼續往下看之前,有幾個名詞需要知道:

  • 何謂核心系統、周邊系統?
    • 核心系統是銀行的心臟,處理銀行存放款的帳務和顧客基本資料,周邊系統就很多了,從不同通路,如分行、ATM、客服、網銀、行銀都各是一套系統,流程作業像放款徵授信的 eLoan 系統、反洗錢 AML 系統,也都是周邊系統。一家銀行通常有 300 ~ 600 個系統不等,核心系統只是其中之一。
    • 簡單說,就是「主核心」做最主要的功能(例如:收付款),剩下審核、放款、徵信那些額外的,都是「周邊系統」,透過 ESB 外掛到「主核心」
  • 何謂ESB(企業服務匯流排)?
    • ESB,英文全名是 Enterprise Service Bus,讓周邊系統透過它與核心系統串接,進行資料傳遞和訊息溝通。因為不同系統的開發時間不同,資料格式可能不同,譬如日期,有的系統用西元,有的用民國,各系統為了與核心要資料,必須透過 ESB 轉譯,確保溝通順暢。通常分行系統和 ATM 系統,由於開發時間較早,都直接連回核心,但行銀、網銀就會透過ESB再連到核心系統。
    • 簡單說,就是「核心系統」串接到「週邊系統」的界面(整合溝通界面,統一 API 的意思)

目前想到就從下面這幾個面向來彙整新聞資訊

  • 富邦銀行為何要更換系統
  • 富邦銀行新系統有何改變
  • 富邦銀行系統廠商的選擇
  • 富邦銀行系統升級的前置作業
  • 富邦銀行系統升級後遇到的問題

富邦銀行為何要更換系統

  • 官方說法:
    • 加快系統反應、異業合作更彈性
    • 省電40%,實踐ESG承諾
  • 系統使用年份久遠:富邦2002年與台北銀行合併以來,最大規模的系統轉換。淘汰的舊系統是被併的台北銀行的舊系統,使用超過30年。
  • 數位金融 時代來臨,若傳統銀行的IT架構不變,不只FINTECH,就跟未來三家純網銀比較,都落後一截。
  • 核心系統若不升級,新的週邊系統串接早晚也會卡關
  • 把原本在核心系統的功能移出,未來業務功能調整時,可更有彈性、也更具時效
  • 但因為把原本在核心系統的功能移出,加上原本周邊系統有超過上百個,使得扮演核心系統與周邊系統中介角色的ESB更為吃重。

富邦銀行新系統有何改變

  • 新舊系統主要的改變是,幫過去集中帳務、資料、應用和介接程式的核心系統瘦身,讓核心系統只保留單純的業務功能
  • 簡單說:主要是將「核心」簡化,只保留單純的業務功能,剩下的都拆到外部週邊系統去(類似 Linux Mini Kernel,剩下都外掛模組進來)

富邦銀行系統廠商的選擇

  • 印度的塔塔顧問諮詢服務公司 (Tata Consultancy Services;TCS) 共同開發,這家公司是全球市值第二大的資訊科技服務商,業務版圖遍及全球46個國家,橫跨運輸、金融、網路等各產業的軟體系統
  • 註:通常這種升級都要找知名企業,出事的時候就可以說,我已經找頂級企業還是出事,也沒辦法了~ XD

富邦銀行系統升級的前置作業

  • 升級幕後:五年籌備、動員73萬人次
  • 北富銀在60天前就啟動通知機制,透過多方管道、多頻次告知客戶停機事宜,在停機期間,客戶若臨時有緊急資金需求,也可以在10/9~10/10早上9:00至晚上22:00,到北富銀全台127家分行辦理
  • 預計 10/8 22:00 ~ 10/10 22:00 期間,進行新系統測試作業,暫停自動化設備

富邦銀行系統升級後遇到的問題與檢討

問題

  • 新系統 10/10 上線後大當機至 10/12 下午 5 點仍未處理好,只剩 ATM 正常
    • 10/12 (隔天)回覆原因:新銀行系統上線後,核心系統運作正常,會有災情(網路銀行 / 行動銀行速度較慢)是因為:「連結周邊系統的銀行企業匯流排(Enterprise Service Bus, 簡稱ESB)系統效能問題導致部分服務無法順利完成。」工程團隊持續調校系統參數設定,增加系統資源,並強化流量監控適配。
    • 事隔兩周,北富銀獨家回應,上線第一天,系統發生測試階段意料外的狀況,因此負責資料拋接的系統──ESB(企業服務匯流排),因參數設計失誤,ESB回應時間較慢,未能即時處理App、網銀的線上交易,客戶才會覺得App當機或跨行轉帳交易失敗
  • 10/11 發生在 ATM 無法領錢但帳戶卻扣款成功,還有在 App 上使用網路轉帳時也出現同樣錯誤,用戶連系統都無法登入,就算成功進入系統也有連線變慢的問題
    • 富邦回應:「這是由於新系統轉換升級後,對大量交易的表現不如預期,所以導致交易速度緩慢,甚至逾時而無法完成。不過核心系統並沒有問題,主要是週邊的子系統出問題,銀行企業服務匯流排速度跟不上。」
    • 註:這是模擬測試時所沒有發現的意外 (通常上線遇到大量的問題,模擬測試很難測試出來)
  • 10/10 晚上系統剛上線後,當機、連線問題、行動銀行轉帳發生異常等問題,網銀、行動網銀、行動支付等「災情」不斷,只有 ATM 正常運作,北富銀客服電話被打爆

檢討

  • 總結兩點疏失:ESB參數設錯 + 測試情境不完整
  • 儘管系統轉換前經過多次測試,也找第三方顧問公司檢視整體測試的有效性,但受限於人工測試無法檢驗極端值,譬如:交易爆大量,以至於系統上線仍發生意外狀況。
  • 總結的說,就是北富銀對於新的核心系統結構缺乏經驗,導致評估錯誤。另外,就是測試做得不夠完善。
    • 註:「大部分銀行20年碰到一次,銀行裡的人不會很習慣做這件事,」許多銀行資訊人員終其一生只會遇到一次換系統。
  • 截至23日,新核心系統、網銀、ATM等業務功能,已大致恢復正常
  • 核心系統上線多多少少都會有些問題,關鍵在問題可不可控以及多快被排除。北富銀系統問題持續超過一周,顯示新系統導入確有瑕疵,但沒有南山人壽離譜。
  • 北富銀從自身經驗,歸納4點建議:
    • 人工測試只能測出已知的情境,未來系統測試應走向高度自動化,才有辦法涵蓋異常測試;
    • 業務功能要定義清楚,甚至流程的改變也牽涉組織設計,必須配套俱足,新系統上線才能真正幫公司轉型;
    • 專案管理辦公室、戰情室、緊急應變小組超前部署,確保系統上線之後,能在最短時間解決問題;
    • 全面完整的客戶溝通,包括事前預警、事後服務,甚至停機期間,確保客服和分行可供急用的客戶提領現金,儘可能將影響降到最低。
  • ESB 回應時間會造成的問題,下面有數字可以參考:
    • 台北富邦銀行 回應時間、交易人數
      • 早上10點網路、行動銀行在線交易人數達3000人,ESB回應時間為1至2秒(已相當舊核心系統在農曆年期間之峰值及效能)。
      • 中午12點30分網路、行動銀行在線交易人數約2000人(另同時在線查詢人數約15000人),ESB回應時間提升為0.3至0.4秒。
    • 網行銀效能已回復正常。早在昨晚,台北富邦銀行宣布ESB系統問題「大致獲得改善」後,開始有用戶反映登網銀「是正常了」並幫北富銀緩頰「剛升級完用的人多,小塞難免。」

相關網頁

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料