|
|
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Оракл, когда надо сделать fullscan большой таблицы, использует асинхронноe ИО. За счет этого процесс может пережевывать порцию данных пока диск читает следующую порцию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:20:47 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Йуный джавистЪОракл, когда надо сделать fullscan большой таблицы, использует асинхронноe ИО. За счет этого процесс может пережевывать порцию данных пока диск читает следующую порцию. Ну тут еще зависит от того как расположен на диске файл размером 3G, сильно ли фрагментирован. Может статься что кэш диска порвет асинхронное ио, как тузик грелку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:33:15 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Вроде синхронность/асинхронность не связана с кэшем? К тому же обычно для оракла отключают системный дисковый кэш, потому что у него свой собственный кэш. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:36:40 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Многодисковый RAID спасёт отца демократии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:37:48 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Йуный джавистЪВроде синхронность/асинхронность не связана с кэшем? К тому же обычно для оракла отключают системный дисковый кэш, потому что у него свой собственный кэш. Связана, но косвенно. Оракл хорош когда данные в разных таблицах раскиданы по всему диску. Если файл строго последовательный, то быстрее прямого доступа к диску ничего нет(в том числе и предсказание очередного доступа), поэтому и порвет, и если б все файлы были строго последовательные то и оракл не нужен был:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:42:33 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
забыл ник и если б все файлы были строго последовательные то и оракл не нужен был:) У оракла немного другое предназначение, нежели исправлять фрагментацию файловой системы :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:49:56 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
авторЕсли файл строго последовательный, то быстрее прямого доступа к диску ничего нет(в том числе и предсказание очередного доступа) А что такое прямой доступ и предсказание очередного доступа? Как это по английски называется? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:51:15 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
ЕвгенийВзабыл ник и если б все файлы были строго последовательные то и оракл не нужен был:) У оракла немного другое предназначение, нежели исправлять фрагментацию файловой системы :) Я не спорю - какая посылка, такой и ответ. Я рассматривал в разрезе задачи и сильно утрировал, надеюсь вам спокойнее?:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 18:55:16 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Йуный джавистЪавторЕсли файл строго последовательный, то быстрее прямого доступа к диску ничего нет(в том числе и предсказание очередного доступа) А что такое прямой доступ и предсказание очередного доступа? Как это по английски называется? Прямой доступ - это, извини, прямой доступ:) Оракл физически не может удержать все в оперативной памяти(ну точнее мб и может, все зависит от размера данных и размера оперативки), и рано или поздно ему придется с диском общаться. А предсказание считывания очередного доступа - это отсебятина естественно, имелся ввиду кэш дискового контроллера. Нет ну если хочешь потроллить я не против) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 19:02:29 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
В чем сложность? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 21:26:18 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
MasterZivЗадача состоит из: - Чтения потокового файла — строго последовательный процесс. - парсинга на слова - похода к хэш-таблице за счетчиком слов. Все строго последовательно, нет нигде провода параллелить. Параллелить можно по разному, например сделать конвейер. Это уже даст 3 параллельных потока, согласно вашей схеме. Далее, можно иметь N хэш-таблиц и обслуживать каждую своим потоком. Или просто иметь несколько потоков для работы с хэш-таблицей, а в качестве таблицы взять ConcurrentHashmap. Да и парсинг можно распаралелить по блокам, только надо особо учитывать слова, попадающие на границы блоков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2012, 21:57:25 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Если речь о более-менее смысловом тексте, то основная проблема - кодировка и определение термина "слово". Дальше вспоминаем, что полные словари русского/английского языков - десятки тысяч слов (50-70 тысяч), от души набрасываем двести процентов на специальную терминологию, множим на отбалдянскую сотню и получаем десятки мегабайт максимум . Вспоминаем, что пропускная способность на многопоточных чтениях не падает только у твердотельных дисков и плавно подходим к выводу: последовательная вычитка с хранением в каком-нибудь дереве и будет не только самым простым, но и самым быстрым решением в подавляющем большинстве случаев . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2012, 16:57:47 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
Leonidvalexgor123Есть большой текстовый файл (~3 ГБ). Требуется подсчитать количество вхождений каждого слова в файл с использованием threads. Не подскажите с чего начать? Сколько потоков нужно создавать? Классическая задача на map/reduce. Начать с его изучения и реализации. Проблема в том, что тут нет его, нет map reduce. На самом деле это не map reduce, а "разделяй и властвуй", но для начала как то надо разделить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2012, 20:26:01 |
|
||
|
Задачка по Java
|
|||
|---|---|---|---|
|
#18+
rfqMasterZivЗадача состоит из: - Чтения потокового файла — строго последовательный процесс. - парсинга на слова - похода к хэш-таблице за счетчиком слов. Все строго последовательно, нет нигде провода параллелить. Параллелить можно по разному, например сделать конвейер. Это уже даст 3 параллельных потока, согласно вашей схеме. Далее, можно иметь N хэш-таблиц и обслуживать каждую своим потоком. Или просто иметь несколько потоков для работы с хэш-таблицей, а в качестве таблицы взять ConcurrentHashmap. Да и парсинг можно распаралелить по блокам, только надо особо учитывать слова, попадающие на границы блоков. Согласия бы, если бы файл имел какую то неаморфную структуру. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2012, 20:31:20 |
|
||
|
|
start [/forum/topic.php?fid=59&msg=38088528&tid=2130317]: |
0ms |
get settings: |
14ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
42ms |
get topic data: |
13ms |
get forum data: |
4ms |
get page messages: |
65ms |
get tp. blocked users: |
2ms |
| others: | 287ms |
| total: | 449ms |
| 0 / 0 |
