Что?

Она замеряет пульс и интенсивность 4 эмоций: счастье, грусть, гнев, удивление.

Как?

Форма лица
FACS - маска из 70 точек лица, изменение координаты группы точек указывает на определенное изменение выражение лица, которое коррелирует с эмоциями.

Пульс
Пульс измеряется с помощью 8 гармоники быстрого Фурье преобразования (FFT).
В качестве сигнала берется значение средней интенсивности зеленого канала на области лба (выделеной красным прямоугольником).

Эмоции
В проекте используется 4 классификатора, которые определяют эмоции по изменению положения угловых точек лица.
Каждая эмоция измеряется независимо в диапазоне от 0 до 1.
В случае абсолютно нейтрального лица по всем измерениям будет 0.
Я записывала данные в Матлаб и измеряла корреляцию. Самую приличную корреляцию эмоций и пульса дало:

• d1=сумма интенсивностей всех эмоций
• d2=пульс(t) - пульс(t-1)

Какие библиотеки использованы

Пульс: https://github.com/thearn/webcam-pulse-detector
Классификатор эмоций: https://github.com/auduno/clmtrackr
Хорошая теория: https://github.com/luca-m/emotime