議程簡介
10/20(星期三)
15:30 - 16:00
彈指即成的資料科學平台 - Beaver
架構遷移
機器學習 K8s 實例
資料工程與 K8s
中階 中文
國泰的資料科學研發團隊致力於將研究技術帶到集團內的各個子公司應用場景中,在這個過程中不斷面對的問題就是部署的便利性與資源的利用度。資料科學平台在前期研究與模型訓練時可能會用到非常多的資源,在模型部署與使用階段的資源用量通常遠小於訓練階段。
多人共用的資料科學平台,往往搭配大量的資源與不同使用者在不同階段的需求,加上每一分的資源對於企業而言都是珍貴的,因此我們希望透過 Beaver (on Kubernetes) 能降低資源的閒置率,提高資源的使用率。
引入 Kubernetes 能有效同時解決這兩個問題:
- 受益於容器化技術,在各個公司技術交流時提高部署的便利性。
- 可擴展性則讓資料科學平台動態且迅速地調整資源用量因應各種狀況,需要運算時多配置一些 pod,閒置時則將 Kubernetes 資源釋放給其他使用者使用。