메모에서 유해한 웃음을 감지하고 설명하는 다각적인 사고:

인터넷 메모는 시각적 단서, 텍스트 콘텐츠, 그리고 문화적 배경을 함께 조합하기 때문에, 이중 의미와 해괴함이 함께 존재하는 상황에서는 특히 해석하기 어려운 것이다. 이러한 복잡성을 고려할 때, 정확한 분류와 인간이 이해할 수 있는 설명을 제공하는 설명 가능한 메모 이해 시스템이 필요하다. 그러나 기존의 다모드 분류기는 이러한 상호 의존성을 무시하거나 해석 가능성을 제한적으로 제공한다. 이 논문에서는 MAR-12라는 새로운 프레임워크를 소개한다. 이 프레임워크는 [비전 언어 모델(Vision Language Model, VLM)]을 사용하여 유머러스하고 혐오적인 요소가 함께 존재하는 상황에서 메모를 감지하고 이해한다. 이 프레임워크는まず 유머와 혐오 이론에서 파생된 12개의 구조화된 관점을 통해 각 메모를 해석한다. 그 다음에 역할에 따른 소프트 게이트 주의 기전을 적용하여 각 관점이 얼마나 기여해야 하는지 학습한다. 그 다음에 프로토타입 기반 분류기를 사용하여 최종 예측을 수행한다. 마지막으로, 관점별 추론과 학습된 주의 가중치를 사용하여 투명하고 배경에 기반한 정당성을 합성한다. MAR-12는 PrideMM과 Memotion 데이터 세트에서 80.3%의 정확도를 달성하는 유머 감지와 75.9%의 정확도를 달성하는 혐오 감지에 대해 최고의 성능을 показ한다. 또한, 인간과 GPT-4 기반 평가를 통해 MAR-12가 유머러스하고 해괴한 단서가 함께 존재하는 메모에 대해 명료하고 설득력 있는 설명을 생성한다는 것을 확인할 수 있다.