|
|
|
Оптимизация для хранения flows
|
|||
|---|---|---|---|
|
#18+
Коллективному разуму привет. Такая вот задачка: Требуется хранить информацию о проходящем трафике, так вот база за 3 месяца раздувается примерно на 70 мил. записей или порядка 10 гиг. Все храниться в одной таблице, по скорости занисения записи в БД вобщемто проблем нет, но по скорости выборки есть бяда, таккак в качестве интерфейса используется браузер, то несмотря на то что в момент передачи данных браузер пинается на то чтобы он в таймаут не свалился очень долго формируются данные на сервере для передачи скрипту пославшему запрос. Сервер БД (отдельный) от сервера WEB HP DL320 2.2 Ghz/ 3Gb OЗУ / Win2k Озу еще под одну задачу используется примерно на 1.5 Gb Загрузки проца нет практически. Мускул 4.1.7 Вопрос вот в чем, как я себе представляю, ускорить процесс с момента посылки запроса серверу БД, до начало получения данных, т.е. скорость передачи данных и скорость обработки web сервером не роляют, устраивает. Кроме практически постоянно идущего Insert-a в базу, запросов на Select очень мало, и возможность посылки 2-ух select-ов одновременно практически невозможна. Посоветуте где можно прикрутить чтобы повысить производительность. Конфиг взял стандартный: [mysqld] basedir=C:/Program Files/MySQL/MySQL Server 4.1/ datadir=D:/MySQL Datafiles/data/ port = 3306 socket = /tmp/mysql.sock skip-locking key_buffer = 256M max_allowed_packet = 1M table_cache = 256 sort_buffer_size = 1M read_buffer_size = 1M read_rnd_buffer_size = 4M myisam_sort_buffer_size = 64M thread_cache = 8 query_cache_size= 16M thread_concurrency = 2 Вот такая вот табличка. CREATE TABLE `flows` ( `id` int(11) NOT NULL auto_increment, `unix_secs` datetime default NULL, `first` datetime default NULL, `last` mediumint(9) default NULL, `doctets` mediumint(9) default NULL, `srcaddr` char(15) default NULL, `dstaddr` char(15) default NULL, `input` mediumint(9) default NULL, `output` mediumint(9) default NULL, `srcport` mediumint(9) default NULL, `dstport` mediumint(9) default NULL, `prot` mediumint(9) default NULL, `srcnum` bigint(20) default NULL, `dstnum` bigint(20) default NULL, PRIMARY KEY (`id`), UNIQUE KEY `id` (`id`), KEY `unix_secs` (`unix_secs`), KEY `first` (`first`), KEY `srcaddr` (`srcaddr`), KEY `dstaddr` (`dstaddr`), KEY `dstport` (`dstport`), KEY `srcnum` (`srcnum`), KEY `dstnum` (`dstnum`) ) ENGINE=MyISAM DEFAULT CHARSET=koi8r DELAY_KEY_WRITE=1; Зарание благодарен за дельные советы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2005, 12:22 |
|
||
|
Оптимизация для хранения flows
|
|||
|---|---|---|---|
|
#18+
Памяти ему поболей отдай... Раза в три... Её ж у тя ещё гиг остаётся.... Вторая задачка-то какая на полтора гига памяти? Posted via ActualForum NNTP Server 1.1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2005, 12:30 |
|
||
|
Оптимизация для хранения flows
|
|||
|---|---|---|---|
|
#18+
lissyaraПамяти ему поболей отдай... Раза в три... Её ж у тя ещё гиг остаётся.... Вторая задачка-то какая на полтора гига памяти? Posted via ActualForum NNTP Server 1.1 А что конкретно лучше повышать, какую память под процесс или кеш ? Вторая задачка по большому счету просто большие массивы в памти держит и изредка данные отдает, можно не учитывать, кроме нагрузки на ОЗУ других там нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2005, 12:34 |
|
||
|
Оптимизация для хранения flows
|
|||
|---|---|---|---|
|
#18+
Привет! вот что есть у меня Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. хранить src_ip, dst_ip в текстовом виде просто накладно. Если у меня на хранение src - dst уходит 8 байтов, то у вас примерно 30 (max), можете подсчитать сколько места вы смогли бы сэкономить. Советую также агрегировать данные до 1 дня, если вам конечно не требуется детальная статистика..... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2005, 13:12 |
|
||
|
Оптимизация для хранения flows
|
|||
|---|---|---|---|
|
#18+
данные можно разбивать по табличкам. Скажем, по неделе на табличку. ------------------ - А как в Интеpнете pаботать? - Сначала нужно узнать, что вам нужно ц ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2005, 15:04 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=33050142&tid=1854081]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
75ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 238ms |
| total: | 401ms |

| 0 / 0 |
