İşletmelerde Yapay Zeka Yatırım Getirisini Ölçmek: Gerçekten Önemli Olan Metrikler
Çoğu şirket yapay zeka yatırım getirisini kötü ölçüyor, devam eden yatırımı haklı kılan finansal sonuçlar yerine gösteriş metriklerine odaklanıyor.
Birinin "bu yıl beş yapay zeka aracı devreye aldık" demesini, bunun kendisi bir sonuçmuş gibi gururla sunduğu birden fazla yönetim kurulu toplantısında oturdum. Değil. Bir girdi. Yapay zeka yatırım getirisini ölçmenin çoğu şirketin uyguladığından daha fazla disiplin gerektirdiğini, bazen pahalı bir şekilde öğrendim ve bunu doğru yapan şirketler, yapmayanlardan dramatik şekilde daha iyi yatırım kararları veriyor.
Gösteriş Metrikleri Tuzağı
Benimseme oranı, çalıştırılan sorgu sayısı, aracı kullanan çalışan sayısı, bunlar sonuç metrikleri değil aktivite metrikleri. Sürekli kullanılan ama hiçbir gerçek iş sonucunu iyileştirmeyen bir araç, kullanım gösterge paneli bir çeyrek incelemesinde ne kadar etkileyici görünse de yatırım getirisi üretmiyor. Artık herhangi bir dahili incelemede değerin kanıtı olarak sadece benimseme metriklerini kabul etmeyi reddediyorum ve başarı iddia etmeden önce her ekibi kullanımı belirli bir iş sonucuna bağlamaya zorluyorum.
Gerçek Yapay Zeka Yatırım Getirisinin Dört Kategorisi
Bu egzersizi tekrar tekrar yürüttükten sonra, gerçek yapay zeka yatırım getirisini dört kategoriye ayırıyorum: maliyet azaltma, bir görevin artık daha az saat veya daha az insan gerektirdiği; gelir büyümesi, yapay zeka aracının doğrudan daha fazla satışa, daha yüksek dönüşüme veya daha büyük anlaşma boyutlarına katkıda bulunduğu; risk azaltma, aracın aksi halde gerçekleşecek kayıpları önlediği, yakalanan dolandırıcılık, kaçınılan uyum hataları, önlenen churn; ve hız, aynı sonucun daha hızlı elde edildiği, ki bu genellikle dolaylı olarak maliyet veya gelir faydasına dönüşüyor.
Her yapay zeka yatırımı, finanse etmeden önce, sonra değil, belirli bir sayıyla bu kategorilerden en az birine eşlenmeli. Bir ekip önerilen yapay zeka projesinin hangi kategoriye girdiğini ifade edemiyorsa, bu, projenin bütçe almadan önce daha fazla tanımlanması gerektiğinin bir işareti.
Başlamadan Önce Gerçek Bir Temel Çizgi Oluşturmak
Gördüğüm en yaygın tek hata, bir yapay zeka aracını devreye almak ve ancak sonra yardımcı olup olmadığını anlamaya çalışmak. Devreye almadan önce alınan temiz bir temel ölçüm olmadan, sonucu dürüstçe değerlendiremezsiniz ve o sırada politik olarak uygun olan hangi anlatıyı destekleme eğiliminde olan anekdot ve içgüdüye güvenmek zorunda kalırsınız.
Şirketlerimde artık herhangi bir yapay zeka pilotu başlamadan önce, normal operasyonun en az birkaç haftası için ilgili temel metrikleri yakalıyoruz. Bu, zaman çizelgesini yavaşlatıyormuş gibi hissettiriyor ve küçük bir miktarda öyle yapıyor, ama bu daha sonra savunulabilir bir yatırım getirisi sayısı üretmenin, bir tartışma değil, tek yolu.
Gizli Maliyetleri Hesaba Katmak
Bir yapay zeka aracının etiket fiyatı nadiren tam maliyet. Entegrasyon mühendisliği zamanı, devam eden veri bakımı, çalışan eğitim zamanı ve hataları yakalamak için gereken inceleme ve gözetim işçiliğinin hepsinin sayılması gerekiyor. Sadece abonelik maliyetine bakıldığında net bir kazanım gibi görünen ama sistemi çalıştırma ve sürdürmenin gerçek dahili işçilik maliyeti dürüstçe dahil edildiğinde marjinal veya hatta negatif yatırım getirisi olduğu ortaya çıkan yapay zeka projeleri gördüm.
Zafer ilan etmeden önce basit bir toplam sahip olma maliyeti modeli inşa edin: abonelik veya kullanım ücretleri, uygulama saatleri, devam eden bakım saatleri ve gözetim saatleri, aynı dönemdeki nicelendirilmiş faydaya karşı karşılaştırılmış.
Zaman Ufku İnsanların Beklediğinden Daha Önemli
Bazı yapay zeka yatırımları neredeyse anında yatırım getirisi gösteriyor, iyi tanımlanmış tekrarlayan bir görevin basit otomasyonu. Diğerleri, özellikle organizasyonel değişim veya yeni veri altyapısı içeren herhangi bir şey, getiriyi göstermek için çok daha uzun sürüyor ve onları üç aylık bir ufukta yargılamak, gerçekten iyi yatırımları erken öldürüyor. Artık başlamadan önce her yapay zeka yatırımı için açık bir beklenen zaman ufku belirliyorum ve sabırsızlığın veya heyecanın değerlendirme penceresini herhangi bir yönde keyfi olarak kaydırmasına izin vermek yerine ekibi o ufka tutuyorum.
Liderliğin Gerçekten Güvendiği Şekilde Yatırım Getirisini Raporlamak
Gördüğüm en güvenilir yatırım getirisi raporları, başarı vakalarının yanında başarısızlık vakalarını da içeriyor. Her bir yapay zeka girişiminin başarılı olduğunu iddia eden bir rapor, deneyimli bir yönetim kurulu veya yönetici ekibi için inandırıcı değil ve gelecek raporlamaya olan güveni aşındırıyor. Artık bir portföy görünümü raporluyorum: hangi girişimlerin kesin rakamlarla açıkça işe yaradığı, hangilerinin kararsız olduğu ve neden, ve hangilerinin durdurulduğu ve ne öğrendiğimiz. Bu dürüst muhasebe, sadece zaferleri gösteren bir rapordan çok daha fazla güvenilirlik inşa ediyor bir sonraki yapay zeka yatırım talebi turu için.
Gerçekten Karşılığını Veren Disiplin
Yapay zeka yatırım getirisini iyi ölçmek gösterişli bir egzersiz değil. Yeni bir harcama kategorisine uygulanan standart finansal disipline daha yakın. Bu disiplini tutarlı şekilde uygulayan şirketler, yapay zeka bütçelerini işi gerçekten ileriye taşıyan girişimlere ayırmayı başarıyor, atlayan şirketler ise kimsenin açıkça haklı çıkaramadığı pahalı bir araç koleksiyonuyla baş başa kalıyor ve sonunda baştan daha iyi ölçümle önlenebilecek bir bütçe hesaplaşmasıyla karşılaşıyor.
Zentria Flow'un kendi yapay zeka modellerini içeride aynı standarda tabi tutuyoruz: her maliyet tahmini özelliği, bir demoda sofistike görünmek değil, doğruluğu kanıtlanabilir şekilde artırmak veya bir ithalatçının gerçek zamanını kurtarmak zorunda.