С сишными библиотеками ещё такая проблема, что распараллелить одну картинку нельзя снаружи библиотеки, т.к. jpeg API родом из 90-х и насквозь последователен. Так что единого конвеера не получится.

Собрал-таки пример к Манго. Эффект в основном ощущается на файлах, сохранённых самим Манго, видимо он пишет те самые RST-маркеры, позволяющие параллелить всё декодирование включая Хаффмана. И всё равно ускоряется непропорционально кол-ву ядер, напр. 8-ядерник - 2.5 раза, 2-ядерник - 40% (относительно последней версии libjpeg-turbo).