Уточните формулировку:
"Вероятность показа показанной новости такая же, как непоказанной" или "вероятность показа новости, показанной за последние N раз/ N часов, гарантированно равна 0"?

В первом случае достаточно так:

($num смысла не имеет, только вредит производительности)

Во втором примерно так:



Но обе эти конструкции из-за order by RAND() будут тяжелыми по производительности.

Если новостей достаточно много, но их список обновляется редко, то я бы предложил идти другим путем:
Завести отдельное поле random_order_id, проиндексировать его, периодически (раз в сутки, например) апдейтить все активные новости номерами в случайном порядке (неактивным проставлять NULL, тогда их и фильтровать не понадобится), а очередную порцию выдавать так:

где вместо prev_random_order_id подставлять самый большой random_order_id из предыдущей выборки.

Если в какой-то момент random_order_id превысит количество активных новостей, то сбрасывать его в 0. Показ начнется сначала.

Сортировать ранодомом весь набор тоже не сладко будет.

А посему - уточняйте требования.