30 beceri: önce denetim, sonra iyileştirme30 skills: audit first, then improve

Hasar AI 2.3’ü yeniden kontrol ettik ve 30 araştırma temelli beceri öğrendik. 20 tanesi bugün uygulandı, 2 tanesi ölçüldü ama kazanç göstermediği için yayınlanmadı, 8 tanesi planlandı (çoğu GPU gerektiriyor). Sonuçlar: karşılaştırma → 4) Denetim.We re-checked Hasar AI 2.3 and learned 30 research-backed skills. 20 were applied today, 2 were measured but not shipped because they showed no gain, and 8 are planned (most need a GPU). Results: comparison → 4) Audit.

1. 1Önce eski işi yeniden denetleRe-audit the previous release firstUygulandıApplied

   Yeni özellikten önce 2.3 iddialarını yeni veride yeniden ölçtük; 3 sorun bulundu.Before adding anything, the 2.3 claims were re-measured on fresh data; 3 problems were found.

   📄 Recht et al. 2019 — Do ImageNet classifiers generalize to ImageNet? (new test sets: 11–14 pt drops) ↗

2. 2Dağılım dışı (OOD) test setiOut-of-distribution test setUygulandıApplied

   DrBimmer’da eğitilen “kırık parça” VehiDE fotoğraflarında test edildi: kesinlik ~%97 → ~%47.“Broken part”, trained on DrBimmer, was tested on VehiDE photos: precision ~97% → ~47%.

   📄 Geirhos et al. 2020 — Shortcut learning in deep neural networks (o.o.d. tests should be the rule) ↗

3. 3Yazılı kuralla elle etiketlenmiş denetim setiHand-labelled audit set with a written ruleUygulandıApplied

   168 fotoğraf tek bir yazılı tanımla etiketlendi (audit/bp_labels.json).168 photos labelled with one written definition (audit/bp_labels.json).

   📄 Oakden-Rayner et al. 2019 — Hidden stratification (error auditing finds failures that metrics hide) ↗

4. 4Ayar / test ayrımı (sızıntı yok)Tune / test separation (no leakage)UygulandıApplied

   Düzeltmeler 120 fotoğraflık ayar setinde seçildi, 48 galeri fotoğrafında bir kez ölçüldü.Fixes were chosen on a 120-photo tune set and measured once on the 48 gallery photos.

   📄 Kapoor & Narayanan 2023 — Leakage and the reproducibility crisis in ML-based science ↗

5. 5Veri kaynağı başına ablasyonPer-source ablationUygulandıApplied

   Sentetik fotoğrafların katkısı ölçüldü: ≈0 (AUROC .790 vs .787; F1 .631 vs .628).The synthetic photos’ contribution was measured: ≈0 (AUROC .790 vs .787; F1 .631 vs .628).

   📄 Meyes et al. 2019 — Ablation studies in artificial neural networks ↗

6. 6Küçük n için Wilson aralığıWilson interval for small nUygulandıApplied

   Denetim kesinlikleri %95 Wilson aralığıyla verildi (ör. 8/17 → %26–69).Audit precisions are reported with 95% Wilson intervals (e.g. 8/17 → 26–69%).

   📄 Brown, Cai & DasGupta 2001 — Interval estimation for a binomial proportion ↗

7. 7Eşleştirilmiş bootstrap farkıPaired bootstrap differencesUygulandıApplied

   2.1 → 2.3 AUROC farkı için %95 GA korundu (+.10 … +.35).The 95% CI for the 2.1 → 2.3 AUROC difference is kept (+.10 … +.35).

   📄 Efron & Tibshirani 1993 — An Introduction to the Bootstrap ↗

8. 8Yüksek yaygınlıkta F1 yerine AUROCAUROC, not just F1, at high prevalenceUygulandıApplied

   Karşılaştırma sayfasındaki eksik AUROC (araştırma satırı) hesaplanıp eklendi.The missing AUROC on the comparison page (research row) was computed and added.

   📄 Saito & Rehmsmeier 2015 — Precision-recall vs ROC on imbalanced data ↗

9. 9Anlamsız değişikliği yayınlamaDo not ship a non-significant changeUygulandıApplied

   “Cam kuralı” galeri kesinliğini yalnız +3–4 puan artırdı ama DrBimmer yakalamasını .377 → .273 düşürdü; kapalı bırakıldı.A “glass rule” raised gallery precision by only +3–4 pts but cut DrBimmer recall .377 → .273; left switched off.

   📄 Dietterich 1998 — Approximate statistical tests for comparing classifiers ↗

10. 10Seçici tahmin: emin değilsen “olası” deSelective prediction: say “possible” when unsureUygulandıApplied

    “Kırık parça” artık “olası … (beta)” olarak gösteriliyor, kesin hüküm değil.“Broken part” is now shown as “possible … (beta)”, not as a verdict.

    📄 Geifman & El-Yaniv 2019 — SelectiveNet (reject option) ↗

11. 11Belirsiz kalem = koşullu maliyetUncertain item = conditional costUygulandıApplied

    Olası parça değişimi toplama eklenmiyor; “gerekirse +X–Y” olarak ayrı gösteriliyor.A possible part replacement is not added to the total; it is shown separately as “if needed +X–Y”.

    📄 Elkan 2001 — The foundations of cost-sensitive learning ↗

12. 12Fiyat modelini piyasayla geriye test etBacktest the price model against the marketUygulandıApplied

    TR tampon işleri piyasanın 1,7–3,1 katıydı; düzeltmeden sonra 4 durumun hepsi piyasa aralığıyla örtüşüyor.TR bumper jobs were 1.7–3.1× the market; after the fix all 4 cases overlap the market range.

    📄 armut.com 2026 price guides (tampon boyama, lokal boya) ↗

13. 13Azami tarife ≠ piyasa fiyatıA maximum tariff is not a market priceUygulandıApplied

    Alt sınır = bağımsız servis tabanı, üst sınır = ATO azami (yetkili servis). Maliyet modeli 1.1.Low end = independent-shop floor, high end = ATO maximum (dealer). Cost model 1.1.

    📄 Ankara Ticaret Odası 2026 oto tamir işçilik tarifesi ↗

14. 14Varsayımları çıktıda işaretleFlag assumptions in the outputUygulandıApplied

    Parça fotoğrafta bulunamazsa satır “*varsayıldı” olarak işaretleniyor (API: assumed=true).If the part is not found in the photo the line is marked “*assumed” (API: assumed=true).

    📄 Mitchell et al. 2019 — Model cards for model reporting (caveats section) ↗

15. 15Tek doğruluk kaynağıSingle source of truthUygulandıApplied

    Site ve API aynı cost-model.json + cost-estimate.js dosyasını kullanıyor (API 1.6.2 cost_estimate).The site and the API now use the same cost-model.json + cost-estimate.js (API 1.6.2 cost_estimate).

    📄 Sculley et al. 2015 — Hidden technical debt in ML systems ↗

16. 16Her sürümde JS ↔ Python eşleşme testiJS ↔ Python parity test on every releaseUygulandıApplied

    2336 fotoğrafta 0 tür farkı, kapı farkı < 4e-6.0 type differences on 2,336 photos, gate difference < 4e-6.

    📄 Breck et al. 2017 — The ML test score (rubric for production readiness) ↗

17. 17Gerçek hatadan regresyon testiRegression tests from real failuresUygulandıApplied

    Cam fotoğrafında tampon değişimi eklenmesi hatası test olarak yazıldı; test hatayı yakaladı, sonra düzeltildi.The “glass photo adds a bumper replacement” bug became a test; the test caught it, then it was fixed.

    📄 Ribeiro et al. 2020 — CheckList: behavioral testing of NLP models ↗

18. 18Bayat önhesaplanmış çıktıları yenileRegenerate stale precomputed outputsUygulandıApplied

    Galeri “Hasar AI 2” sonuçları 2.0.0’dan kalmıştı; 2.3.1 ile yeniden üretildi.The gallery’s “Hasar AI 2” results were still from 2.0.0; regenerated with 2.3.1.

    📄 Polyzotis et al. 2017 — Data management challenges in production ML ↗

19. 19Sınırlamaları yayınlaPublish the limitationsUygulandıApplied

    Karşılaştırma sayfasına “4) Denetim” bölümü; ~%97 iddiasının yanına OOD notu.An “4) Audit” section on the comparison page; an OOD note next to the ~97% claim.

    📄 Gebru et al. 2021 — Datasheets for datasets ↗

20. 20Hata kümesi analizi (gizli tabakalanma)Error-cluster analysis (hidden stratification)UygulandıApplied

    Yanlış “kırık parça” uyarıları iki kümede: yalnız cam fotoğrafları ve göçük/çizik yakın çekimleri.False “broken part” calls cluster in two groups: glass-only photos and dent/scratch close-ups.

    📄 Oakden-Rayner et al. 2019 — Hidden stratification ↗

21. 21Etiket kayması / öncül düzeltmeLabel shift / prior correctionÖlçüldü, yayınlanmadıMeasured, not shipped

    Kırık parça yaygınlığı DrBimmer’da %92, VehiDE’de %36. Saerens düzeltmesi eşiği ~0,64’e taşır; ayar setinde kesinlik .53 → .64, galeride değişiklik yok → yayınlanmadı.Broken-part prevalence is 92% in DrBimmer and 36% in VehiDE. The Saerens correction moves the threshold to ~0.64; tune precision .53 → .64, gallery unchanged → not shipped.

    📄 Saerens, Latinne & Decaestecker 2002 — Adjusting classifier outputs to new a priori probabilities ↗

22. 22Hedef alanda az etiketle yeniden eğitimFew-label retraining in the target domainÖlçüldü, yayınlanmadıMeasured, not shipped

    120 VehiDE etiketiyle başlık yeniden eğitildi: AUROC ~0,5 → 34 özellik sinyali taşımıyor; dedektör eğitimi gerekli.The head was retrained with 120 VehiDE labels: AUROC ~0.5 → the 34 features carry no signal; detector training is needed.

    📄 Kouw & Loog 2019 — An introduction to domain adaptation and transfer learning ↗

23. 23Çok etiketli konformal tahminMulti-label conformal predictionPlanlandıPlanned

    168 etiketli VehiDE fotoğrafı artık bir kalibrasyon seti; her tür için garanti kapsamlı “olası türler” kümesi planlandı.The 168 labelled VehiDE photos are now a calibration set; per-type coverage-guaranteed “possible types” sets are planned.

    📄 Angelopoulos & Bates 2021 — A gentle introduction to conformal prediction ↗

24. 24Sıcaklık ölçekleme ile güven kalibrasyonuConfidence calibration with temperature scalingPlanlandıPlanned

    Gösterilen güven yüzdesi kalibre değil; hedef alanda tek parametreli ölçekleme planlandı.The displayed confidence % is not calibrated; single-parameter scaling on target-domain data is planned.

    📄 Guo et al. 2017 — On calibration of modern neural networks ↗

25. 25Etiket hatası bulma (confident learning)Label-error detection (confident learning)PlanlandıPlanned

    DrBimmer klasör karışıklığından sonra eğitim etiketlerinde otomatik hata taraması planlandı.After the DrBimmer folder mix-up, an automatic label-error scan of the training labels is planned.

    📄 Northcutt, Jiang & Chuang 2021 — Confident learning (cleanlab) ↗

26. 26Kopyala-yapıştır artırımı (doğru yerde)Copy-paste augmentation (in the right place)PlanlandıPlanned

    Ablasyon gösterdi ki sentetik veri donmuş dedektörle işe yaramıyor; GPU defterinde dedektör eğitimine taşındı.The ablation showed synthetic data does nothing with a frozen detector; moved into detector training in the GPU notebook.

    📄 Ghiasi et al. 2021 — Simple copy-paste is a strong data augmentation method ↗

27. 27Difüzyonla veri artırımıDiffusion-based augmentationPlanlandıPlanned

    Gerçekçi “eksik parça” örnekleri için inpainting ile artırım (GPU) planlandı.Inpainting-based augmentation for realistic “missing part” examples (GPU) is planned.

    📄 Trabucco et al. 2023 — Effective data augmentation with diffusion models ↗

28. 28Açık sözlüklü dedektörlerOpen-vocabulary detectorsPlanlandıPlanned

    “missing bumper / broken headlight” gibi metinle sıfır-atış tespit; sunucu tarafı ikinci görüş olarak denenecek.Zero-shot detection from text such as “missing bumper / broken headlight”; to be tried as a server-side second opinion.

    📄 Liu et al. 2023 — Grounding DINO; Minderer et al. 2023 — OWLv2 ↗

29. 29SAM 2 maskeleriyle hasar alanıDamage area from SAM 2 masksPlanlandıPlanned

    Maliyet kuralları kutu alanı kullanıyor; maske alanı onarım/değişim kararını iyileştirebilir.Cost rules use box area; mask area could improve the repair-vs-replace decision.

    📄 Ravi et al. 2024 — SAM 2: Segment anything in images and videos ↗

30. 30Komşu parça işçilik çakışmasıAdjacent-part labour overlapPlanlandıPlanned

    Audatex, ortak işlemleri iki kez saymaz; aynı parça zaten tekil, komşu parça indirimi araç verisi gelince eklenecek.Audatex does not count shared operations twice; same-part lines are already de-duplicated, adjacent-part deductions need per-vehicle data.

    📄 Audatex North America — Database Reference Manual (automatic overlap) ↗

Kod ve veriler: audit_bp.py, ablate_syn.py, audit/bp_labels.json, cost/backtest_tr.mjs. Hasar AI 2.3.1 · maliyet modeli 1.1.0 · API 1.6.2.Code and data: audit_bp.py, ablate_syn.py, audit/bp_labels.json, cost/backtest_tr.mjs. Hasar AI 2.3.1 · cost model 1.1.0 · API 1.6.2.