Dikkat Tabanlı Görsel–İşitsel Akış Füzyonu ile Sahne Sınıflandırma

Bu çalışmada, sahne sınıflandırma görevlerinde görsel ve işitsel verilerin birlikte kullanılmasına yönelik, Gated Cross-Modal Attention Fusion Network (GCM-AFN) adı verilen çok modlu bir derin öğrenme mimarisi önerilmektedir. Önerilen yapıda, görsel akıştan EfficientNetV2 omurgası kullanılarak derin özellikler çıkarılırken, işitsel akışta MFCC tabanlı zaman-frekans temsilleri kullanılmaktadır. Her iki akıştan elde edilen özellik temsilleri, kapılı dikkat mekanizması aracılığıyla birleştirilmektedir. Model, çok kipli bilgilerin etkin biçimde bir araya getirilmesini sağlamak amacıyla yardımcı akış çıktıları ve dikkat tabanlı bir füzyon stratejisi içermektedir. Çapraz doğrulamaya dayalı deneysel sonuçlar, önerilen yaklaşımın tek akışlı modeller ve geleneksel füzyon yöntemlerine kıyasla daha yüksek doğruluk, daha düşük varyans ve sınıf bazında daha tutarlı bir performans sergilediğini göstermektedir. Elde edilen bulgular, dikkat tabanlı füzyonun görsel–işitsel sahne sınıflandırma görevlerinde etkili bir bilgi birleştirme yaklaşımı sunduğunu ortaya koymaktadır.