Посмотрите наличие файла ffmpegthumbnailer.thumbnailer в /usr/share/thumbnailers.
Если он есть, а изначально он должен быть, почистите в домашнем каталоге скрытую папку .thumbnails/normal. После этого перезапустите файловый менеджер Caja и посмотрите, должны появиться превьюшки.