議程簡介

10/20(星期三) 15:30 - 16:00

彈指即成的資料科學平台 - Beaver

架構遷移 機器學習 K8s 實例 資料工程與 K8s 中階 中文

國泰的資料科學研發團隊致力於將研究技術帶到集團內的各個子公司應用場景中,在這個過程中不斷面對的問題就是部署的便利性與資源的利用度。資料科學平台在前期研究與模型訓練時可能會用到非常多的資源,在模型部署與使用階段的資源用量通常遠小於訓練階段。

多人共用的資料科學平台,往往搭配大量的資源與不同使用者在不同階段的需求,加上每一分的資源對於企業而言都是珍貴的,因此我們希望透過 Beaver (on Kubernetes) 能降低資源的閒置率,提高資源的使用率。

引入 Kubernetes 能有效同時解決這兩個問題:

  1. 受益於容器化技術,在各個公司技術交流時提高部署的便利性。
  2. 可擴展性則讓資料科學平台動態且迅速地調整資源用量因應各種狀況,需要運算時多配置一些 pod,閒置時則將 Kubernetes 資源釋放給其他使用者使用。
劉澤 Ivan
劉澤 Ivan
國泰金控
資料科學工程師
講者簡介

過去接觸過自然語言處理與機器學習相關領域,應用於文件分類,相似文件查找,推薦系統與文章關鍵字提取等。目前在國泰金控擔任資料工程師,以 Docker 與 OKD 進行服務整合,開發資料科學平台。