議程簡介
以 GPU 分割共享技術,優化 Kubernetes 與 GPU 資源利用率
Kubernetes 已是大規模容器管理的實質標準,而機器學習團隊也都試著把自己的開發工作容器化,轉移到 Kubernetes 的 GPU 環境中。然而在 Kubernetes 中使用 GPU 仍有相當大的挑戰,因為 GPU Non-Preemptive 的獨佔排他性,讓一塊 GPU 不能讓多個 POD 同時使用,只能預約 GPU 的使用,虛耗排隊等待時間,使得 GPU 整體利用率偏低,專案的生產力不足。本次演講將介紹 GPU Partitioning 分割共享的技術,將一塊 GPU 切分成多個隔離獨立的資源,因而讓 Kubernetes 多個 POD 可以同時共用一塊 GPU,實現了多人多專案共用 GPU 的目標,並且能提升 AI 專案的生產力。
通識 中文