議程簡介

以 GPU 分割共享技術,優化 Kubernetes 與 GPU 資源利用率

Kubernetes 已是大規模容器管理的實質標準,而機器學習團隊也都試著把自己的開發工作容器化,轉移到 Kubernetes 的 GPU 環境中。然而在 Kubernetes 中使用 GPU 仍有相當大的挑戰,因為 GPU Non-Preemptive 的獨佔排他性,讓一塊 GPU 不能讓多個 POD 同時使用,只能預約 GPU 的使用,虛耗排隊等待時間,使得 GPU 整體利用率偏低,專案的生產力不足。本次演講將介紹 GPU Partitioning 分割共享的技術,將一塊 GPU 切分成多個隔離獨立的資源,因而讓 Kubernetes 多個 POD 可以同時共用一塊 GPU,實現了多人多專案共用 GPU 的目標,並且能提升 AI 專案的生產力。

GPU 與 K8s 應用 K8s 優化 機器學習
通識 中文
彭彥博 Edison
彭彥博 Edison
雙子星雲端運算
VP of Engineering
講者簡介

現職於雙子星雲端運算研發部與產品管理部門,帶領包含架構師與研發團隊,共同打造基於 Kubernetes 與容器化技術之產品。曾參與國家型公有雲平台 TWCC 專案之開發,負責管理核心 PaaS 與 API Gateway 與各運算、儲存、網路服務之串接,管理超過 1500 片 GPU 與數百台伺服器,包含 OpenStack、Kubernetes、HPC (Slurm)、Ceph、GPFS 等平台,本身具有十年以上雲端技術經驗。

最新消息

news photo

美國NSA與CISA發布《Kubernetes強化指南》

了解更多
news photo

Kubeflow框架再被用來對Kubernetes叢集發動挖礦攻擊

了解更多
news photo

伺服器端應用已在Kubernetes 1.22成為正式功能

了解更多
news photo

【臺灣SRE實例:Line臺灣】如何確保Line服務天天不中斷,專責SRE扮演開發與維運的橋樑

了解更多
news photo

【線上研討會】Self-healing Kubernetes at the edge: MicroK8s, Raspberry Pis and Portainer

了解更多
news photo

【線上研討會】Enterprise Kubernetes use cases: 4 real-world stories

了解更多
news photo

玉山銀行如何打造新一代核心系統,微服務架構轉換經驗大公開

了解更多