Eterna TeknolojiAkıllı Çağrı Yönetimi

04Hedefler

Beş nicel hedef — literatüre dayandırılmış ve kilitlenmiş

Tüm hedefler, M4'ten sonra dondurulan bir değerlendirme kümesi üzerinde, bootstrap güven aralığı ile ölçülür.

fig. — quantified targets

5 targets · M4 frozen set

T1[K9]
target40%

%40+

Türkçe özel ad WER azalması

T2[K19]
target30%

≤ %20

Telefon bandı Türkçe WER

T3[K24]
target60%

p95 ≤ 2 s

Tur başına uçtan uca gecikme

T4[K5]
target95%

≥ %95

Alan doğruluğu / asılsız veri ≤ %1

T5[K9]
target90%

≥ %90

Serbest konum → idari birim

Detaylı hedef kartları

Her hedef ölçüm yöntemi, başarı kriteri ve bağlı çalışma paketi ile birlikte kilitlenmiştir.

T1WP3 · WP5

Türkçe özel ad WER azalması (düzeltme katmanı devrede)

≥ %40 bağıl azalma

Literatür dayanağı: [K9]%51 bağıl WER azalması (K9); güven eşiği 0,5 (K11)

T2WP2 · WP3

Kelime hata oranı (WER) — telefon bandı Türkçe

WER ≤ %20; ince ayarın taban modele göre ≥ %30 bağıl azalma sağlaması

Literatür dayanağı: [K1]Whisper Türkçe temel WER %4,3–14,2; LoRA ince ayar %52,38'e varan azalma

T3WP3 · WP4 · WP8 · WP10

Konuşma turu başına uçtan uca gecikme

RTF < 1 ve p95 ≤ 2 s

Literatür dayanağı: [K24]Whisper-Streaming 3,3 sn (K24); p95 raporlama (K25)

T4WP7 · WP10

İş kaydı alan doğruluğu ve asılsız veri oranı

Alan doğruluğu ≥ %95; asılsız veri oranı ≤ %1

Literatür dayanağı: [K5]LLM düzeltme precision/F1 (K5)

T5WP6 · WP10

Serbest konum → idari birim çözümleme doğruluğu

Altın küme üzerinde ≥ %90