|
Обработка больших данных локально: MS Access vs MySQL
|
||
|---|---|---|
Участник
Откуда: СПб
Сообщения: 930 |
||
| 22.10.2008, 23:43 |
|
|
|
|
|
Обработка больших данных локально: MS Access vs MySQL
|
|||
|---|---|---|---|
|
#18+
Привет завсегдатаям форума! Подскажите, пожалуйста, как лучше поступить в моей ситуации. Есть достаточно большие массивы данных - 5 таблиц по 8-10 полей и по 300 000 - 500 000 строк данных (таблицы по биохим. соединениям). Прежде чем выкладывать в сеть (а оно лежит в MySQL), мы над ними производим разные хитрые действия (всяческие UPDATE ... INNER JOIN .. ON ... SET .. WHERE и тому подобные). Все это мы делаем локально в MS Access. Выполнение этих операций занимает несколько часов: обычно в Access запускаем скрипт на ночь, а когда утром приходим в институт - то все готово. После чего результат импортируем в MySQL. У коллег возникло предложение все это обрабатывать с помощью PHP+MySQL. Как вы думаете: 1. Навскидку, будет ли быстрее? 2. Для PHP, Апача - это не проблема в течение нескольких часов обрабатывать один тяжелый скрипт? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2008, 22:27 |
|
||
|
Обработка больших данных локально: MS Access vs MySQL
|
|||
|---|---|---|---|
|
#18+
1. наверника, оптимизатор в mysql понавороченей. 2. в php.ini был какой-то параметр который определял сколько скрипт может работать, а апач чтоб запустить скрипт совершенно не нужен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2008, 23:36 |
|
||
|
Обработка больших данных локально: MS Access vs MySQL
|
|||
|---|---|---|---|
|
#18+
на вскидку, ИМХО кажется, что будет mySQL быстрее... надо пробовать но "объективно" есть несколько моментов... 1. в MySQL можно извращаться над индексами, что может значительно поднять скорость запросов, особенно если чё-то джойнить... настраивать на сколько много памяти потреблять и.т.д 2. если MySQL в сети, то возможно, там стоит сервер, то есть комп который производительней чем тот, на котором крутится аксес... ну диски шустрые, много оперативы... ночью его врядли активно используют, можно и моноплизировать все ресурсы для обработки... 3. по сравнения с аксесом, в MySQL, используя возможности написания хранимых процедур, оптимизировать алгоритм обработки данных... (надо было это п.1 ставить)... это может в разы ускорить обработку... это всё "плюсы" mySQL... использовать апач... по времени выполнения скриптов, кажется есть определённые ограничения... "до утра" это очень долго... запускать лучше как-нить по другому... например из IDE... открыл SQL скрипт, Run, и пошёл домой :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2008, 23:43 |
|
||
|
Обработка больших данных локально: MS Access vs MySQL
|
|||
|---|---|---|---|
|
#18+
А зачем тут PHP и, тем более, Апач? "всяческие UPDATE" вполне можно написать в простом текстовом файле и скормить его MySQL-ю. Насчет будет ли быстрее - надо смотреть конкретные запросы, таблицы, индексы и т.п. Не на всех видах запросов MySQL быстро работает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2008, 10:26 |
|
||
|
Обработка больших данных локально: MS Access vs MySQL
|
|||
|---|---|---|---|
|
#18+
general., Вообще то 500к записей не такая уж большая база, чтобы обрабатывать ее всю ночь. Проще уж тогда засосать все данные в память в скрипте, и сделать все что надо в скрипте и потом уже готовые результаты залить в mysql. Уверен будет быстрее и проще.. Какой суммарный обьем данных в гигабайтах? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2008, 17:54 |
|
||
|
|
start [/forum/topic.php?fid=35&msg=35610900&tid=1553033]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
44ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
43ms |
get tp. blocked users: |
2ms |
| others: | 243ms |
| total: | 377ms |
| 0 / 0 |
