基于腦電采用深度卷積神經(jīng)網(wǎng)絡(luò)在聽音樂的過程中進(jìn)行時(shí)空上的情緒識(shí)別

1.研究背景

基于腦電來進(jìn)行情緒識(shí)別是目前比較活躍的研究領(lǐng)域，而卷積神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的模型之一，也被應(yīng)用到這一領(lǐng)域的研究中。

2.研究方法

2.1 被試

實(shí)驗(yàn)選取了大阪大學(xué)的12名男性被試（平均年齡25.59±1.69歲），身體健康，并且沒有人之前接受過正式的音樂教育訓(xùn)練。所有被試均是自愿參與，每個(gè)人都被告知實(shí)驗(yàn)流程。

2.2 實(shí)驗(yàn)材料

實(shí)驗(yàn)中用到的音樂包括40個(gè)MIDI文件，每首歌都只有不同的樂器和節(jié)奏，以規(guī)避歌詞的影響，被試被要求從音樂集中選擇16首歌曲。

腦電數(shù)據(jù)的采樣率設(shè)置為250Hz，記錄了12個(gè)數(shù)據(jù)點(diǎn)的腦電信號，分別是Fp1，F(xiàn)p2，F(xiàn)3，F(xiàn)4，F(xiàn)7，F(xiàn)8，F(xiàn)z，C3，C4，T3，T4，Pz，這些通道均是在情緒管理中起到重要作用的額葉附近腦區(qū)。實(shí)驗(yàn)過程中每個(gè)電極的阻抗降到20kΩ以下，并在60Hz進(jìn)行凹陷濾波。

圖1. 國際標(biāo)準(zhǔn)10-20電極排布排布分布圖

2.3 實(shí)驗(yàn)流程

在被試選擇了16首歌曲后，他們被要求去聽這些歌曲。歌曲之間有16秒的沉默間隔，減少了歌曲之間的任何效果。當(dāng)每個(gè)被試在聽所選的音樂過程中，同時(shí)記錄其腦電信號。在實(shí)驗(yàn)過程中要求被試閉眼保持穩(wěn)定以避免無關(guān)偽跡干擾。當(dāng)被試聽完16首歌曲之后，摘下電極帽，把16首歌曲按照相同的順序再聽一遍，并通過不斷點(diǎn)擊屏幕上顯示的喚醒效價(jià)空間中的相應(yīng)點(diǎn)來標(biāo)注自己聽音樂過程中的感受。

圖2. 情緒分類模型的兩個(gè)維度

2.4 數(shù)據(jù)處理

本研究采用了基于Matlab的EEGLAB工具包，首先對腦電數(shù)據(jù)進(jìn)行了0.5-60Hz的帶通濾波，并且根據(jù)獨(dú)立成分分析的結(jié)果校正受污染的數(shù)據(jù)，包括噪聲，眼動(dòng)，肌電等偽跡。處理好之后，腦電信號通過時(shí)間戳與標(biāo)注的情緒相關(guān)聯(lián)。

圖3. 數(shù)據(jù)采集與預(yù)處理流程

接下來對標(biāo)注好的情緒元素進(jìn)行分類，喚醒度方面分為高和低，效價(jià)方面分為積極和消極。在本研究中將情緒識(shí)別作為兩個(gè)成分的二元分類任務(wù)，根據(jù)EEG信號對情緒進(jìn)行分類，考慮了卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性、窗口大小以及電極的排序。

3.研究結(jié)果

4.參考文獻(xiàn)

Keelawat, P., Thammasan, N., Numao, M., & Kijsirikul, B. (2019). Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening. ArXiv Preprint ArXiv:1910.09719.