Google第六代Trillium TPU去年底上線 效能大幅提升

晶片大廠針對AI運算推出各種晶片，Google近期推出第六代Trillium TPU，強調在AI訓練上效能大幅提升。Google Cloud產品羣經理Mohan Pichika表示，Google生產晶片主要是爲了協助AI訓練更強大，仍會和其他的晶片廠商如NVIDIA（輝達）等業者合作，發展更好的AI加速器產品組合。

Mohan Pichika指出，生成式AI興起帶動的創新應用，需要能處理精密複雜任務且功能更加強大的AI模型，也需要高效能的基礎架構以擴展AI訓練、調整和推論的工作負載，Google Cloud是Google的AI基礎架構開發出整合式超級運算架構「AI Hypercomputer」整合工作負載最佳化的硬體（包括TPU、GPU和CPU）、開放軟體及可彈性消費的模型，他強調Google因日益增長的AI工作負載需求開發自己的TPU客製化AI加速器，主要爲發展多模態AI奠定基礎。

Mohan Pichika表示，目前機器學習模型不斷最佳化，連優化的CPU也有很好的效能表現。顯示出不同類型的運算晶片都有其適用場景，將來未來AI加速器和通用型晶片會更積極合作，滿足客戶AI領域需求。

Google去年在開發者大會發表了第六代Trillium TPU，並在去年底正式開發所有客戶使用，主要助力提升大型語言模型訓練效率，相較於前一代，效能提升4.7倍，包括訓練效能提升爲原來的4倍以上，推論效能增加3倍以上，能源效率提升67%。而相應的高頻寬記憶體用量也提升一倍。