Derin Öğrenmenin Derin Karbon Ayak İzi

Makine öğrenmesinin bir alt kümesi olan ve beyinden ilham alarak yapay sinir ağındaki katman sayısı ikiden fazla olan derin öğrenme, 1958 yılında Frank Rosen Blatt’ın basit bir yapay sinir ağı olan “perceptron”u ortaya atmasıyla başladı. Derin öğrenme 2012 yılında bir yarışma kazanan Alexnet ile ise büyük bir popülarite kazandı. Geoffrey Hinton ve arkadaşları tarafından ortaya atılan AlexNet’te toplam 8 tabaka, 9216 düğüm, yaklaşık 62 milyon parametre ve 600 milyon bağlantı vardı.

Derin öğrenme modelleri çok büyük miktarda veri kullanıyor ve bu verilerden öğrenmek için ise çok büyük enerji harcıyorlardı. Zaman içinde bu tür modeller görüntü işleme ve tanıma, ses işleme ve tanıma gibi alanlarda yaygın bir şekilde kullanılmaya başlandı. Özellikle GPT-3 gibi çok fazla sayıda parametreli doğal dil işleme programları (NLP) büyük ilgi çekti.

Son birkaç yılda derin öğrenme programlarının çevresel etkileri konusunda çok sayıda makale basıldı ve “yeşil yapay zeka” önerilerek bu konu derinliğine incelenmeye başlandı. Sonuç olarak görüldü ki, bu modellerin eğitilmesi ve geliştirilmesi, hem donanım ve elektrik maliyeti veya bulut hesaplama süresi nedeniyle finansal olarak hem de modern tensör işleme donanımını beslemek için gereken karbon ayak izi nedeniyle çevresel olarak maliyetlidir. Bu gerçeğin farkına varan araştırmacılar, derin öğrenme modellerinin enerji tüketimi ve karbon ayak izini izlemek ve tahmin etmek için araçlar geliştirmeye başladılar.¹

Derin öğrenme, enerji açısından çok verimli olan insan beyninden ilham alıp, “şaka gibi” sözcükleri
ile nitelendirilebilecek büyüklükte bir karbon ayak izi üretiyordu. Derin öğrenme hesaplamalarının
ürettiği karbon ayak izi eğitim verileri için kullanılan sunucunun konumu ve kullandığı enerji şebekesi, eğitim verilerinin işlem uzunluğu ve hatta eğitimin yapıldığı donanımın markası ve modeli gibi faktörlerden oluşuyordu.

Daha da şaşırtıcı olan, Moore Yasası’nın bile ikiye katlanma süresi 2 yıl iken, yapay zeka uygulamalarında eğitim verilerinin işlenmesi sırasında kullanılan bilgi işlem miktarı, 2012’den bu yana 3-4 aylık bir süre içinde ikiye katlanıyordu. Elde edilen sonuç ise, bu sorunun çok büyük bir hızla katlanarak önümüze yığıldığını göstermekteydi. 2012 ile 2018 arasında, derin öğrenme için gerekli işlem miktarı 300.000 kattan fazla artmıştı.²

Sorunun çok büyük ölçekli eğitim verileri ile çalışılmasından kaynaklandığı ortadaydı. İnsanları eğitirken basitten zora doğru bir sıra izleniyor ama buna karşılık derin öğrenmede eğitim verileri rassal bir sıra içinde bilgisayara verilerek, bilgisayara öğretilmeye çalışılıyordu. Milyonlar düzeyinde büyük ölçekli verilerle çalışılması sorunu konusunda Andrew Ng, veri merkezli bir yapay zeka hareketi öneriyor, bu yaklaşımın bize yapay zekadaki büyük sorunlara “küçük veri” çözümleri getirebileceğini söylüyor ve ekliyor: “Dev veri setlerinin basitçe var olmadığı birçok sektörde, bence odak, büyük veriden iyi veriye geçmelidir. 50 incelikle tasarlanmış örneğe sahip olmak, sinir ağına ne öğrenmesini istediğinizi açıklamak için yeterli olabilir.³ Diğer yandan, büyük veri sorununu daha kısa sürede ve daha ucuza aşabilmek için “sentetik veri” üretilmesi öneriliyor.

Derin öğrenmenin derin karbon ayak izi sorunu hem günümüz, hem de gelecek için çok daha fazla konuşulacak ve incelenecek bir konu gibi görülüyor.

Prof. Dr. Necmi Gürsakal 19.03.2022

Dipnotlar:

1- Anthony Wolff F. Lasse, Kanding Benjamin, Selvan Raghavendra “Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models”, arXiv:2007.03051v1 [cs.CY] 6 Jul 2020

2 -Schwartz Roy, Dodge Jesse, Smith A.Noah, Etzioni Oren “Green AI”, arXiv:1907.10597v3 [cs.CY] 13 Aug 2019

3-Strickland Eliza, “Andrew Ng: Unbiggen AI”, Spectrum.ieee, 9 Feb, 2022, https://spectrum.ieee.org/andrew-ng-data-centric-a