Giriş

Prompt engineering sürecinde performans ölçümü, yalnızca daha iyi sonuçlar almak için değil; aynı zamanda değişikliklerin beklenen etkisini doğrulamak, işletme KPI'larına bağlamak ve model davranışındaki sürüşleri tespit etmek için gereklidir. Birçok rehber ve doküman, prompt kalitesini değerlendirmek için aynı temel bileşenlere işaret eder; bu bileşenler genelde doğruluk, tutarlılık ve talimatlara uyum olarak tanımlanır (örnek çerçeve için bkz. PromptQuorum).

Neden ölçmeliyiz?

  • Değişikliklerin gerçekten iş hedeflerini iyileştirip iyileştirmediğini doğrulamak.
  • Regresyonları (beklenmedik bozulmaları) hızlı yakalamak.
  • Model sürümleri veya kullanıcı profilleri arasında tutarlı bir değerlendirme zemini oluşturmak.
  • Deneyleri tekrarlanabilir ve açıklanabilir hâle getirmek.

Pratik uygulamalarda A/B testleri, farklı prompt varyasyonlarını karşılaştırmak için yaygın şekilde kullanılır; bunu nasıl yapılandıracağınızla ilgili metodolojik kılavuzlar, A/B testlerinin LLM prompt mühendisliğinde nasıl uygulanacağını adım adım anlatır (Braintrust).

Prompt performansının temel bileşenleri

1. Doğruluk

Doğruluk, model çıktısının beklenen/ground-truth içerikle örtüşme düzeyidir. Doğruluk genelde insan etiketlemesi veya güvenilir referans setlerle ölçülür; otomatik metrikler (ör. benzerlik skorları) destekleyici olabilir ancak insan değerlendirmesi kritik kalır.

2. Tutarlılık

Tutarlılık, aynı veya benzer girdiler verildiğinde modelin benzer çıktılar üretme eğilimidir. Tutarsız çıktılar kullanıcı deneyimini bozar; bu nedenle hem deterministik testler hem de rastgele tohumlarla tekrar koşuları yapılmalıdır.

3. Talimatlara uyum (instruction-following)

Modelin verilen format, uzunluk, ton veya yapı gereksinimlerine ne kadar uyduğu ölçülür. Bu ölçüm için kural tabanlı kontroller, regex veya yapı kontrolörleri ile insan puanlaması birlikte kullanılır.

KPI'lar nasıl seçilir? (Pratik adımlar)

  1. İş hedefinizi netleştirin: Örnek: müşteri destek otomasyonunda ilk yanıtın çözüm oranını artırmak.
  2. Birincil metrik belirleyin: Hedefe en doğrudan bağlı KPI'yi seçin (ör. doğru yanıtlama oranı, kullanıcı tatmini).
  3. İkincil metrikleri tanımlayın: Yan etki ve maliyet göstergeleri (yanıt süresi, API maliyeti, tutarlılık).
  4. Ölçüm yöntemini açıklayın: Her KPI için veri kaynağı, hesaplama yöntemi ve güncelleme sıklığını yazılı hale getirin.
  5. Başarı kriteri belirleyin: Hangi koşullar sağlandığında değişikliğin kabul edileceğini önceden tanımlayın.

Örnek KPI tablosu

KPI Tanım Nasıl ölçülür?
Doğruluk Çıktının beklenen yanıtla örtüşme oranı İnsan etiketleri veya güvenilir referanslarla karşılaştırma; otomatik benzerlik skorları destekleyici
Talimatlara uyum İstenen format/ton/uzunluğun sağlanma oranı Regex/rule kontrolleri + insan denetimi
Tutarlılık Benzer girdilere verilen çıktılar arasındaki varyans Çoklu koşu ve embedding tabanlı benzerlik analizleri
Yanıt süresi API yanıt gecikmesi Ortalama/percentil gecikme ölçümleri
Maliyet / çağrı API kullanım maliyeti Çağrı başı maliyet hesaplaması
Kullanıcı memnuniyeti Son kullanıcı tarafından bildirilen kalite Kısa anketler veya puanlama (ör. 1–5) ile ölçüm

Test seti ve veri tasarımı

Güvenilir ölçüm için iyi tasarlanmış bir test seti şarttır. Temel noktalar:

  • Temsil edilebilirlik: Gerçek kullanıcı sorgularının dağılımını yansıtmalı.
  • Edge-case'ler: Sık karşılaşılan hataları tetikleyecek senaryolar dahil edilmeli.
  • Holdout seti: Model üzerinde ayarlama yapılırken kullanılan veri ile test verisi ayrı tutulmalı.
  • Etiketleme talimatları: İnsan etiketçiler için açık yönergeler ve örnekler sağlanmalı.

Etiketleyici arası uyumu düzenli kontrol edin; gerektiğinde etiketleyici eğitimi ve değerlendirme kriterlerini güncelleyin.

A/B testleri: Tasarım ve uygulama

A/B testleri, farklı prompt versiyonlarının doğrudan karşılaştırılmasını sağlar. Testin güvenilir olması için bazı temel kurallar vardır: rastgele atama, birincil metriğin önceden tanımlanması ve yeterli örneklem gücü. Pratik yöntemler ve örnek adımlar hakkında detaylı rehberler bulunuyor (Braintrust).

A/B testi adım adım

  1. Hipotezi yazın: Değişiklikten beklenen etki nedir? (örn. "Format talimatı eklendiğinde kullanıcı memnuniyeti artar")
  2. Birincil metrik seçin: Testin kararını verecek tek metrik olmalı.
  3. Varyasyonları oluşturun: Kontrol (A) ve deney (B) olarak açıkça tanımlayın; mümkünse tek bir değişkeni değiştirin.
  4. Rastgele dağıtım yapın: Trafiği rastgele ve dengeli olarak dağıtın.
  5. Toplama ve analiz: Önceden tanımlı hedefe göre sonuçları toplayın; gerekiyorsa bootstrap veya uygun istatistiksel testler kullanın.
  6. Karar ve kayıt: Kararınızı, metrik ve bağlamla birlikte kaydedin; sonuçları tekrar eden denemeler için belgelendirin.

Testin süresi, örneklem büyüklüğüne ve hedeflenen etki büyüklüğüne bağlıdır; bu nedenle örneklem hesaplaması yapmadan erken sonuç çıkarılmaması önerilir.

Otomasyon: Araçlar ve mimari yaklaşımlar

Otomatik değerlendirme araçları, test setlerini, metrik hesaplarını ve raporlamayı birleştirerek ölçümü ölçeklendirir. Resmi dokümanlar otomatik değerlendirme yaklaşımlarının nasıl kurulacağına dair yol haritaları sunar (PromptReports.AI).

Basit otomasyon mimarisi

  1. Test veri deposu (ör. versiyonlanmış JSON veriler)
  2. Runner/Orkestratör (varyasyonları API'ye çağıran katman)
  3. Scoring modülleri (otomatik metrikler ve embedding benzerliği)
  4. İnsan değerlendirme entegrasyonu (etiketleme iş akışları)
  5. Depolama ve gösterge panosu (metrik tarihsel takibi, uyarılar)

Bu bileşenleri CI/CD süreçlerine entegre etmek, prompt değişikliklerinin kontrol altında ve tekrarlanabilir şekilde test edilmesini sağlar. Otomasyon, elle yapılan değerlendirmeyi azaltırken insan denetimini tamamen ortadan kaldırmamalıdır; belirli periyotlarla insan doğrulaması şarttır.

İyi uygulamalar ve kontrol listesi

  • Her deney için önceden tanımlanmış başarı kriterleri belirleyin.
  • Test setlerini düzenli aralıklarla güncelleyin ve veri kaymasını izleyin.
  • Hem otomatik hem insan değerlendirmesini kombinleyin.
  • Deney sonuçlarını ve prompt sürümlerini versiyonlayın.
  • Testleri küçük, tekrarlanabilir adımlara bölün; tek seferde büyük değişikliklerden kaçının.
  • Metric hacking riskine karşı birden fazla KPI ile çapraz doğrulama yapın.

Sınırlamalar ve dikkat edilmesi gerekenler

Her ölçüm yaklaşımının sınırları vardır. Test setleri gerçek kullanıcı davranışını tam yansıtmayabilir, otomatik metrikler insan algısıyla tutarsız sonuçlar verebilir ve model sürüm değişiklikleri değerlendirme sonuçlarını etkileyebilir. Bu nedenle sonuçları uygulamaya almadan önce küçük ölçekli pilotlar ve insan doğrulaması önerilir. Ayrıca ölçüm planlarınızı şeffaf ve tekrarlanabilir şekilde belgelemek, sonuçların güvenilirliğini artırır.

Hızlı Başlangıç Kontrol Listesi (5 adım)

  1. KPI'ınızı iş hedefine bağlayın ve birincil metrik belirleyin.
  2. Temsil edici bir test seti hazırlayın ve holdout ayırın.
  3. Bir A/B hipotezi oluşturun ve varyasyonları tek değişken prensibiyle tasarlayın.
  4. Otomatik runner ve scoring modülleri kurun; insan etiketleme akışı ekleyin.
  5. Sonuçları belgeleyin, karar kriterlerini uygulayın ve gerekirse iterasyon yapın.

Kaynaklar ve ileri okumalar

Sonuç

Prompt performansını güvenilir şekilde ölçmek, açıkça tanımlanmış KPI'lar, iyi tasarlanmış test setleri, dikkatli A/B testleri ve otomasyonun doğru kombinasyonunu gerektirir. Başlamak için birincil metrik belirleyin, küçük bir A/B testi ile hipotezinizi doğrulayın ve otomasyonu adım adım devreye alın. Daha kapsamlı rehberler ve araç dokümanları için yukarıdaki kaynaklara bakabilirsiniz.