событие происходит в случае:
- удаление элемента из списка выбранных
- добавление элемента в список выбранных

при простом клике мышью в ListView - событие происходит 2 (два) раза. первый - после удаления из списка выбранных элементов предыдущего отселектированного элемента (здесь твои грабли - в списке ничего ничего не осталось) и после добавления в список нового элемента (вот этот случай и надо ловить).

если у тебя не multiselect - за это и лови - когда в SelectedItems есть элементы. а информация есть:
MSDNthis event occurs whenever an item is removed or added to the list of selected items - прямой намёк, что событие будет проиходить в твоём случае два раза.