Это просто глюкэто не глюк :)

1.
грид сам держит ссылки (причем не weak, а сильные ссылки) и на DataSet и на DataTable. Удаление таблицы из DataSet - не значит, что грид перестанет ее показывать. как показывал - так и будет показывать (т.к. он не подписывается на событие изменения состава таблиц DataSet - ибо НЕТ ИХ В ПРИРОДЕ).

2.
если через SetDataBinding устанавливать новые данные для показа и при этом datasource и datamember теже самые, что и установленные в гриде, то грид просто ни хрена не делает (оптимизация, блин). то же самое происходит и с др. контролами (ListBox и ComboBox в частности).

иногда помогает, если вводить "промежуточное" значение для datamember типа string.Empty. в этом случае грид может честно показать новую таблицу (но не всегда).

3.
переустановка нового datasource для грида - это серпом по своим яй-м :)
вот здесь вылетит такой баг в самый неподходящий момент, что мало не покажется (личный опыт + обсуждение на C# с Sanitto!!! )

PS
наверное из-за этих "счастливых" возможностей MS и сделал рокировку с DataGrid с DataGridView

PPS
один раз установив binding для грида - и больше его трогать не надо. нужно работать с содержимым таблиц (очищать от записей, перезаполнять, и т.д.)