Может, и немного не в тему, но у Вас довольно расплывчатая конечная цель.
Как я понимаю, с технической стороной дела более-менее разобрались - распределенные сервера и вычисления, дублирование информации и прочее, что уже активно используется, например, http://ru.wikipedia.org/wiki/SETI@home]SETI .
Осталась проблема с логической частью. Не так давно писал диплом, формально по очень прикладной тематике (автоматизация проектирования военного строительства по имеющимся комплектным технологиям - то есть известна технология и есть для нее станадартные элементы, то есть нужно только описать формально процесс сборки), фактически иссследовались методы и методики описания произвольных инженерных (то есть весьма сильно формализованных!) знаний (описать, например, психику на порядок сложнее, если вообще реально). Сразу оговорюсь, что в моем (да и в Вашем, судя по предыдущим постам) контексте речь идет не о БД, а о базе знаний. Если не знаете разницы, то читайте статьи про ИИ(искусственный интеллект).
Задача в общем виде при попытках раскопки была неподъемной в обозримом будущем. Некорые выводы, полученные в результате, таковы (под знаниями дальше понимается узкая часть инженрно-прикладных знаний):
1) Все известные знания человечества делятся на 3 группы
- акисоматические (те, которые не требуют или не имеют доказательств и получены в основном опытным путем. Пример: 5 аксиом планиметрии, на которых строится ВСЯ остальная планиметрия). Количество знаний, объявляемых аксиоматическими, сильно разнится в зависимости от области (та же геометрия и, например, религия, где доля аксиоматических знаний на порядки выше);
- знания вывода. Механизмы построения логических заключений, формализованные в математической логике как правила вида "Если А и Б верно, то верно В". Не забываем об альтернативных методах вывода типа нечеткой логики и генетических алгоритмах );
- выводимые знания, полученные путем применения знаний вывода к аксиоматическим и к ранее полученным выводимым знаниям;
2) Вся информация о мире (в рамках доступной и необходимой модели, естественно) может быть формально описана с помощью механизма знаний на спец языке (например, типа Пролог). Однако в эту штуку тяжело укладываются статистические и слабоформализованные описания объектов, которые могут дополнятся и изменятся в процессе существования базы, или же предельный переход знаний и законов (например, классическая механика предельный случай релятивистской)

Есть кое какие другие выводы, но это уже интеллектуальная собственность:)

Так что могу Вас заверить, что задача это в прикладном и общем виде вряд-ли будет разарешена в ближайшее время. Методики хранения, а главное - взаимодествия информации между собой практически неизучены в подобном контексте. Так что у Вас огромное поле для творчества

Naroto,

Все это так. Только немного про разное говорится. Вы говорите про оптимизацию "на лету", оптимизаторы оптимизаторов... Это есть, УЖЕ разработана (и запатентована в России, и не только) многоуровневая система для решения графовых и множественных задач. Сначала пишется задача на языке множеств (на уровне элементарных операций вхождения, пересечения, отрицания и пр.), после чего опять таки пишется алгоритм решения на уровне множеств.
Далее специальный транслятор превращает это в код на компилируемом языке, уже подобрав и оптимизировав порядок вызова процедур, циклов, рекурсий и, самое главное, структур данных дял хранения (массивы, спсики, деревья и пр.) основываясь на статистике операций заложенном алгоритме. После чего компилисят бинарник, оптимизированный под решение конкретной задачи

Это мягко говоря непростая задача может используется много где, например, в САПР.

Но я хотел сказать о другом. Про объемы информации и их взаимодействие - это хорошо. Про существующие решения по распознаванию - тоже неплохо. НО у всех этих вещей есть один минус - они узко заточены. Программу, способную распознать отпечатки пальцев, нельзя натравить на сличение лиц, например, алгоритм ее работы ВСЕГДА жестко определен.
В моем предыдущем посте были затронуты вопросы, связанные с хранением и выбором доступных механизмов получения новых знаний среди имеющихся. Причем независимо от их природы. То есть как хранить сами алгоритмы и выбирать их в зависимости от вида и рода доступной информации.

Naroto,

своеобразная у Вас манера выражать мысли, от третьего лица... Наверное, хотите подчеркнуть свою значимость. Пусть так.
А про то, что я написал - исследовались тогда не хранилища информации, а методы хранения и получения знаний, обобщенных и не привязанных к конкретике. Кстати, на сегодняшний день не существует полной и более менее четкой модели мышления и памяти человека. Нейронные сети -самая грубая пародия на этот механизм