Для того, чтобы инвертировать цвета изображения, нужно:

Hайти самую яркостную составляющую Y.
это Y=0.3R+0.59G+0.11B
Инвертировать ее Y1 = 1 - Y.
Пересчитать все цвета: R1 = R*Y1/Y, G1 = G*Y1/Y, B1 = B*Y1/Y
Написал: Вася Пупкин :)