Всем добрый день. Разрабатываю проект. В таблице находятся 3000 школьников(таблица постоянно увеличивается, точнее это журнал), со всеми данными, около 15 полей. Мне нужно эти данные разнести в разные таблицы, в таблицу телефонов, в таблицу адресов и т.д. В начале я выбирал одну строку из таблицы школьников, обрабатывал ее на сервере и вставлял в разные таблицы в БД, устанавливая флаг обработано. Потом переписал весь код, делаю выборку всех строк школьников одним разом в массив. Создаю другие "временные" массивы, распределяю туда данные. Потом по этим массивам создаю длинный запрос-вставку и отправляю в бд. Все работает вроде хорошо.
Однако теперь мне нужно еще фильтровать этот массив школьников от дублирующихся данных, разных пустых ошибочных данных, и сохранять в массив ошибочных школьников. т.е. массивы динамический изменяются в длинне на сервере, и происходит какая-то имитация поведения таблиц как в реальной БД, еще мне приходится следить за автоинкрементом, увеличивая искусственно переменную в одном из массивов, чтоб потом по автоинкременту, если что сразу сделать апгрейд данных в этом массиве. Дальше еще больше. Какая-то путаница. И все это для того чтобы вставить все данные не грузя лишний раз БД. Хотел узнать, обычно действительно так обрабатывают и подготавливают массивы с данными или делают как то по другому?

ужас, ща будет взрыв мозга, от слова distinct инстинкт самовыживания пропадает=). Попробую разобраться.

спасибо за выше изложенный пример. Честно сказать я сейчас нахожусь на измене, я так понял что нет смысла загружать данные на сервер, потом обрабатывать и выгружать их, лучше отправлять запросы в БД, чтобы она сама обрабатывала все данные. или так не всегда делают?

спасибо за информацию