Надеюсь, фильтрация происходит указанием соответствующего критерия в предложении WHERE соответствующего запроса? Если нет, то очень даже зря.
Кстати, а зачем столько записей зараз на клиента вытаскивать? Человек столько взглядом не окинет, значит, сеть грузится большим трафиком совершенно бессмысленно .

Если кол-во записей нельзя уменьшить, то чуть-чуть ускорить можно, если:
1) поле bit заменть на tinyint
2) повесить на него индекс
3) в запросе указать хинт использовать этот индекс (сам он не возьмется)

Кроме того, не мешает убедится, что в таблице есть кластерный индекс и что он по маленькому полю (тип int). Лучше всего для этого подходит INT IDENTITY(1,1) PRIMARY KEY CLUSTERED

А в целом - имеющаяся проблема производительности - это проблема сетевого трафика - посчитай размер, который проходит по сети