ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Обмен данными между своими процессами
25 сообщений из 109, страница 4 из 5
  4  все
Обмен данными между своими процессами
    #39617398
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
чччДcptngrb,

Код: pascal
1.
2.
 'Петя' + #13#10 + 'Коля'
 'Петя'#13#10'Коля'




:)

Это тоже

Код: pascal
1.
  if err = false then
...
Рейтинг: 0 / 0
20.03.2018, 12:16
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617400
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
defecator, а винт не сломается?
если в памяти не справляется, то через файлы справиться?
я думал над этим. хотел разделить на несколько процессов и использовать FileMapping или что-то другое, создал вопрос на форуме, но все скатилось на что-то я не так делаю и пришли к выводу, что нужно делать по другому
...
Рейтинг: 0 / 0
20.03.2018, 12:17
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617403
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
defecator, это супер!
...
Рейтинг: 0 / 0
20.03.2018, 12:19
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617407
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
cptngrbdefecator, а винт не сломается?
если в памяти не справляется, то через файлы справиться?
я думал над этим. хотел разделить на несколько процессов и использовать FileMapping или что-то другое, создал вопрос на форуме, но все скатилось на что-то я не так делаю и пришли к выводу, что нужно делать по другому

ещё раз, последний, повторю: разделяй быструю часть и медленную часть.
СУБД - это медленная часть.

Быстрая часть пусть со своей скоростью генерит данные и складирует их хотя бы на винт.
Медленная часть со своей скоростью выгребает данные из файлов и заносит в базу.
...
Рейтинг: 0 / 0
20.03.2018, 12:28
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617410
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
defecator, я понимаю, о чем ты. Я только хотел уточнить.
...
Рейтинг: 0 / 0
20.03.2018, 12:34
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617421
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
Oracle быстр, если с ним правильно работать. За все четыре страницы так и непонятно, какая задача должна быть решена, как эти 100500 элементов связаны с базой данных и т.п. Зато куча хрустальных шаров
...
Рейтинг: 0 / 0
20.03.2018, 12:40
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617427
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
schiOracle быстр, если с ним правильно работать. За все четыре страницы так и непонятно, какая задача должна быть решена, как эти 100500 элементов связаны с базой данных и т.п. Зато куча хрустальных шаров
какие хрустальные шары ?
Чувак хочет запихать в базу стотыщ нефти мгновенно.
Но у него не получается, и не получится, как ты с Ораклем ни работай
...
Рейтинг: 0 / 0
20.03.2018, 12:47
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617428
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
schi, через хранимую процедуру, которую я не могу менять, быстро писать 100500 записей
...
Рейтинг: 0 / 0
20.03.2018, 12:47
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617432
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
cptngrbdefecator, а винт не сломается?
если в памяти не справляется, то через файлы справиться?
я думал над этим. хотел разделить на несколько процессов и использовать FileMapping или что-то другое, создал вопрос на форуме, но все скатилось на что-то я не так делаю и пришли к выводу, что нужно делать по другому
Повторюсь, посмотрел бы в сторону какого-нибудь сервиса типа rabbitmq, activemq, kafka для буферизации и доставки данных до обработчиков, в этом случае обработчиков можно будет плодить как на одной так и на нескольких машинах.
...
Рейтинг: 0 / 0
20.03.2018, 12:49
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617437
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
Дегтярев Евгенийcptngrbdefecator, а винт не сломается?
если в памяти не справляется, то через файлы справиться?
я думал над этим. хотел разделить на несколько процессов и использовать FileMapping или что-то другое, создал вопрос на форуме, но все скатилось на что-то я не так делаю и пришли к выводу, что нужно делать по другому
Повторюсь, посмотрел бы в сторону какого-нибудь сервиса типа rabbitmq, activemq, kafka для буферизации и доставки данных до обработчиков
зачем нужна эта ересь, если сделать через файлы на диске гораздо быстрее и проще ?
Быстрый сервис создаёт файл и кладёт туда пачку данных.
Медленный сервис с какой-то периодичностью проверяет наличие новых файлов,
открывает каждый и пишет данные в базу.
Файл удаляется.

Если хочется вообще быстро-быстро, то всё это можно хранить на электронном диске
...
Рейтинг: 0 / 0
20.03.2018, 12:52
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617453
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
defecatorзачем нужна эта ересь, если сделать через файлы на диске гораздо быстрее и проще ?
Быстрый сервис создаёт файл и кладёт туда пачку данных.
Медленный сервис с какой-то периодичностью проверяет наличие новых файлов,
открывает каждый и пишет данные в базу.
Файл удаляется.
а вот не факт что быстрее и проще.

зы
что за электронный диск?
...
Рейтинг: 0 / 0
20.03.2018, 12:59
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617455
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
Дегтярев Евгенийdefecatorзачем нужна эта ересь, если сделать через файлы на диске гораздо быстрее и проще ?
Быстрый сервис создаёт файл и кладёт туда пачку данных.
Медленный сервис с какой-то периодичностью проверяет наличие новых файлов,
открывает каждый и пишет данные в базу.
Файл удаляется.
а вот не факт что быстрее и проще.

зы
что за электронный диск?
RAM-диск
...
Рейтинг: 0 / 0
20.03.2018, 13:00
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617653
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
defecatorДегтярев Евгенийпропущено...

Повторюсь, посмотрел бы в сторону какого-нибудь сервиса типа rabbitmq, activemq, kafka для буферизации и доставки данных до обработчиков
зачем нужна эта ересь, если сделать через файлы на диске гораздо быстрее и проще ?
Быстрый сервис создаёт файл и кладёт туда пачку данных.
Медленный сервис с какой-то периодичностью проверяет наличие новых файлов,
открывает каждый и пишет данные в базу.
Файл удаляется.

Если хочется вообще быстро-быстро, то всё это можно хранить на электронном диске

Несколько непонятно, зачем нужна промежуточная прослойка в виду файлов, пусть даже на электронном диске
...
Рейтинг: 0 / 0
20.03.2018, 16:07
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617658
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
schidefecatorпропущено...

зачем нужна эта ересь, если сделать через файлы на диске гораздо быстрее и проще ?
Быстрый сервис создаёт файл и кладёт туда пачку данных.
Медленный сервис с какой-то периодичностью проверяет наличие новых файлов,
открывает каждый и пишет данные в базу.
Файл удаляется.

Если хочется вообще быстро-быстро, то всё это можно хранить на электронном диске

Несколько непонятно, зачем нужна промежуточная прослойка в виду файлов, пусть даже на электронном диске
а почему бы и нет ? Это один из вариантов решения
...
Рейтинг: 0 / 0
20.03.2018, 16:14
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617660
Грех
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грех
Гость
А если писать напрямую в память процесса??? К примеру мы запускаемся, программа ищет подходящие - наши приложения. А дальше пишет в них по адресу. А в наших приложениях есть мониторинг.. Так же как работают читы.

Вауля. Самый быстрый способ
...
Рейтинг: 0 / 0
20.03.2018, 16:16
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617669
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
defecatorschiпропущено...


Несколько непонятно, зачем нужна промежуточная прослойка в виду файлов, пусть даже на электронном диске
а почему бы и нет ? Это один из вариантов решения

Дело в том, что из сообщений ТС видно только, что он "сидит на канале 10Гб/с и разбирает пакетики". Если у него нужные данные с такой скоростью поступают, то любые прослойки, мне кажется, будут замедлять общую обработку. Но пятая точка мне подсказывает, что полезные данные вряд ли с такой скоростью поступают и их надо ВСЕ сохранять в базе.
...
Рейтинг: 0 / 0
20.03.2018, 16:24
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617674
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
насчет того, что DOA плохое, а ODAC впереди планеты всей. ODAC client mode.
Провел замеры на своей машине i7-6700 3,4 и 16ГБ ОЗУ .
5 потоков записи в БД в обоих случаях. средние значения:
DOA - время присвоения переменных 1500 мс, время выполнения запроса 2400 мс, ОЗУ съели ~3 ГБ
ODAC - время присвоения переменных 100 мс, время выполнения запроса 8000 мс, ОЗУ съели ~14 ГБ

В DOA во время присвоения переменных происходит раскладывания в структуры oci.dll,
а в ODAC не знаю(исходников нет), но такое чувство, что раскладывает при Execute. Тестил на компоненте TOraSQL
...
Рейтинг: 0 / 0
20.03.2018, 16:29
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617676
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
schi, не все, но даже полезные не успеваю укладывать, даже при полезном потоке ~2ГБ
...
Рейтинг: 0 / 0
20.03.2018, 16:30
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617677
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
[quot schi]defecator...то любые прослойки, мне кажется, будут замедлять общую обработку...
до тех пока хватает одного процесса/сервера
одного процесса уже не хватает
...
Рейтинг: 0 / 0
20.03.2018, 16:31
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617681
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
на локальной машине при полезном потоке ~600МБ проводились замеры. с DOA я справляюсь без проблем, при ODAC нет, вернее ОП заканчивается
...
Рейтинг: 0 / 0
20.03.2018, 16:33
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617688
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
поделись хоть что за данные в таком кол-ве?
мне только мониторинг на ум приходит
...
Рейтинг: 0 / 0
20.03.2018, 16:39
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617690
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Дегтярев Евгений, на локальной машине разбираю udp пакеты, которые pcap player'ом сам себе отправляю
...
Рейтинг: 0 / 0
20.03.2018, 16:43
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617693
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
[quot Дегтярев Евгений]schiпропущено...

до тех пока хватает одного процесса/сервера
одного процесса уже не хватает

Сам Oracle как-то справляется с нагрузками, у него там диспетчеры всякие есть, и прочие процессы :)
Но, повторюсь, давать советы, не зная задачи, не всегда легко и действенно.
...
Рейтинг: 0 / 0
20.03.2018, 16:47
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617701
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
cptngrbДегтярев Евгений, на локальной машине разбираю udp пакеты, которые pcap player'ом сам себе отправляю
ну меня как раз интересует характер данных внутри пакетов, если это не секрет фирмы ))
...
Рейтинг: 0 / 0
20.03.2018, 17:01
| Ответить | Цитировать | Написать  
Обмен данными между своими процессами
    #39617824
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Дегтярев Евгений,

СОРМ? :)
...
Рейтинг: 0 / 0
20.03.2018, 20:24
| Ответить | Цитировать | Написать  
25 сообщений из 109, страница 4 из 5
  4  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Обмен данными между своими процессами
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39617701&tid=2041123]:
 0ms
get settings:
 10ms
get forum list:
 19ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 201ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 90ms
get tp. blocked users:
 1ms
others: 288ms
total:  633ms
созд. / загр.: 633ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]