Здравствуйте,
У меня есть данные, которые собирает скрипт с разных сайтов.
Данные представляют из себя папки в каждой из которых лежит файл, несколько фото, текстовый файл и несколько файлов с различными ссылками.
Для того, чтобы не было повторов и двойных скачиваний у меня есть тестовый файл со списком уже посещенных ссылок на эти данные. Каждый раз при запуске скрипта из этого файле берутся все ссылки и сверяются с рабочей ссылкой. Если таковая уже есть, то скрипт останавливается.

Долго такая жизнь продолжаться не может. Файл с посещенными ссылками растет и, рано или поздно, будет невозможно большим.
Я хочу построить базу данных, чтобы обращаться не к файлу, а к таблице. Есть вопрос по архитектуре.
Для ускорения индексинга, надо ли мне все свойства данных из папок иметь в одной большой таблице или правильно будет иметь отдельную таблицу со списком посещенных ссылок и связанные с этим другие таблицы с другими свойствами данных?
Еще вопрос. Текстовую информацию правильнее держать в самой базе или в виде ссылки на файл?
Заранее спасибо за ответ.

Akina,

Спасибо за ответ. Сегодня папок 2000. Это я собрал данные с одной локации, скрипт только что написан. Через пару недель папок будет полсотни тысяч. Через полгода планируются миллион+ папок.
Текстовые файлы - не большие. 95% меньше 150 Кб. Файлы с данными планируется привязывать еще и к отдельной таблице с чексуммами для того, чтобы удалять дубликаты (возможно правильнее иметь чексуммы в виде столбца, а не отдельной таблицы. Я не знаю, потому и спрашиваю.)

А что означает "проанализировать да построить сразу нормальную структуру." ?