在电子竞技比赛实况直播中，观众常常难以理解游戏情况，这是因为仅靠游戏专家解说员的评论不足以完全理解游戏过程。为了解决这个问题，近期研究提出了一个名为GAME-MUG的多模态游戏情况理解和观众参与评论生成数据集，及其强大的基线模型。
游戏动态性使得普通观众相对来说比较复杂。电子竞技广播需要游戏专家解说员，但仅有解说员的游戏评论并不能完全理解游戏情况。通过包含多样化的多模态电子竞技信息，包括观众的话语/情感、游戏音频和游戏比赛事件信息，可以使其更加丰富。GAME-MUG数据集是从2020-2022年LOL游戏直播中收集的，包括多模态电子竞技游戏信息，例如文本、音频和时间序列事件日志，用于检测游戏情况。此外，还提出了一个新的观众会话增强评论数据集，涵盖了游戏情况和观众会话理解。
本文提出的GAME-MUG数据集和一种基于多模态双重学习的评论生成模型，通过整合多种游戏信息和观众对话情感等信息，实现了更丰富的游戏情况理解和评论生成。作者设计了实验来验证多模态双重学习模型的游戏情况和事件理解能力以及评论生成能力，并展示了该模型的有效性。
在这个领域中，已经有一些相关研究，如《Multimodal Emotion Recognition in the Wild Challenge》和《Multi-Modal Emotion Recognition and Sentiment Analysis (MERSA) Challenge》等。这些研究表明，通过多模态信息的集成，可以显著提高游戏情况理解和评论生成的准确性。
总之，GAME-MUG数据集和基于多模态双重学习的评论生成模型为电子竞技比赛实况直播提供了一个新的解决方案，帮助观众更好地理解游戏情况，并且能够更好地参与到评论中。这种方法不仅仅局限于电子竞技，还可以应用于其他多模态信息集成领域。