Сперва вы должны определить список того, что у вас считается "действием": движение и клики мыши, нажатие клавиш, чтение текста пользователем. Без этого вы просто не сможете определить, что же такое "бездействие". После этого оставьте только те "действия" которые вы можете контролировать при помощи скрипта (чтение текста, например, надо вычеркнуть из списка).

Затем стоит также убрать те события, которые так или иначе учитываются в других. Например, если вы считаете onmousedown, то нет смысла считать onclick, поскольку клик не может произойти без нажатия.

Насчет того, что Antonariyonmousedown не нужно.
Сложно ткнуть в кнопку, не наведя на нее курсор. Пример:
на странице есть кнопочки "вперед" и "назад", которые, например, меняют содержимое фрейма, при этом сами они остаются на месте. Пользователь наведет мышку на кнопку, а дальше будет просто по ней кликать. При этом никакого move не будет... Конечно, это довольно редкий случай, но все же... Сам не раз сталкивался с моментами, где один только move не помогал...

Заводите переменную, в которой будет храниться время последнего действия пользователя.
В обработчиках выбранных событий обновляете эту переменную.
А далее поступаете так, как говорил Antonariy.