powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / на что хоть нарвался?
25 сообщений из 119, страница 3 из 5
на что хоть нарвался?
    #38135559
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRos,

еще вопрос к вам. с целью уточнить мы об одном и том же говорим ии нет?

1) вот вы создали граф на 100 gb. вам надо его записать, чтобы он стал доступен другим. здесь прокатят низкоуровневые схемы. параллелить можно до безобразия лишь бы корзина с дисками тянула.

2) разные системы работуют с графом, изменяя состояния узлов/ребер? тут же вроде не должно возникать обьемной записи на диск.

в каком пункте у вас затык с записью?
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135561
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lord British,

ну вот на новой машине влоб не получился, теперь буду эксперминнтровать - по контроллерам, дискам, партиции и т.д. рапсараллелить, но это уже другая песня (значит фиг продашь систему на фабрику какую нить, мы за это говно отдали 230 тыщ зеленых)
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135568
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lord British,

ну блин это опроцессный ПЛАН завода внешная и внутренная логистика, производственные процессы процессы перемещения мобильных процессорв(люди,инструмент, оснастка,..) - вощем все что на заводе шуршит
по хорошему время (пере)счета всей этой байды должна быть меньше длительности самого короткого процесса (ну тут можно кое где сделать локальные пересчеты, но не всегда)
этой инфой работают снаюженцы сбытовики бухи хуйухи 0 все
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135570
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosLord British,

ну вот на новой машине влоб не получился, теперь буду эксперминнтровать - по контроллерам, дискам, партиции и т.д. рапсараллелить, но это уже другая песня (значит фиг продашь систему на фабрику какую нить, мы за это говно отдали 230 тыщ зеленых)

Опиши задачу подробней. Почему нужно писать все сразу на диск? Есть варианты с распределенным вычислением, расчеты на подобных объемах нужно параллелить и держать в памяти
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135573
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosLord British,
скоко надо что бы инсертить 50 000 000 записей? (по кб допустим)
быстро вставить 50Гб это конечно не хухры-мухры.
при такой задаче базы данных общего назначения, типа mssql etc , мало приспособлены.
вам просто нужно специализированное ПО. может даж какое-то своё. компания то большая.

и в рамках этого ПО уже можно достичь скорости , сооизмеримой со скоростью записи в SDD (или что там в RAID стоит у вас)

а уж скуль использовать токма как надёжное резервное хранение.
Хотя полагаю, что такая мысль вам в голову приходила.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135579
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SeVa,

задача такова - составить пооперационный оптимальный план работ (кто когда что где скоко,.. должен делать) и мониторить этот план в реалтайме с визуализацией на разных уровнях агрегации (матсер или кладовщик видятт РМ или паллету, а директор цеха и склады и т.д.)

сам граф невозможно строить параллельно, а вот параллельно строить разные графы (с применением разных политик управленческих) можно
данные находятся у владельцев данных (технологий и ресурсов)
вот приходит заказ к сбытовику
он делает широковещательный запрос кто могет?
доустим тут 2 владельца ТП (конечной сборки) - они окликаются
в свою очнредь они выставялют свои заказы (внутри тоже РМ являются могут являтся) отдельными владельцами)
кто то откликается
и т.д.
у каждого владельца(заказчика) есть оценщик критериальный
в конце концов последние звена высталяют свои времена и/затраты , оценщики заказичков оценивают и выбирают лучщего поставщика
и так до сбыта и клиента
выбранный (меченый оценщиками) граф становтся планом
а потом мониторинг и пересчет с учетом неподвижных-реперных плановых точек (внешних по поставкам и закупкам и финансам и кредитам)
вот
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135581
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beg-in-er,

угу
просто это следующий этап
счас птыаемся отшлифовать то что есть
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135584
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosbeg-in-er,
просто это следующий этап

мдя, Акуенная задача. ээхх.( сглотнул слюну )
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135585
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beg-in-er,

приходи работать, понравишься - возьмем
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135586
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosbeg-in-er,
приходи работать, понравишься - возьмем
Цеж москва?, а мы провинциалы питерские.
московская рана от первого приезда ещё не зажила.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135587
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beg-in-er,

да я сам гастарбайтер
был у меня чек из питера, офгенный был чек
просто нам вдвоем не место :( ушел через 1.5 гда
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135592
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRos,
Ок, как доберусь до первопрестольной , можно и встретится.
уж больно маштабно всё выглядит. да и наработки кой какие есть в этом направлении. жалко их под сукном держать.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135597
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beg-in-er,

ок
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135601
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosLord British,

ну что такое - шуршит?
скоко надо что бы инсертить 50 000 000 записей? (по кб допустим)
Та

Вверху спрашивал не просто так. Есть большая разница между разовой заливкой и оперативной обработкой этого вашего графа.

Залить сотни гигов не проблема, sqlldr может писать почти напрямую (минуя все этапы, которые проходит insert) да еще и параллельно. Вы полностью можете загрузить полезной нагрузкой вашу дисковую систему . В таблице куда льете можно создать партиции их раскидать по "дискам". Грохните индексы перед заливкой, потом создадите. И т. п.. У вас смотрю железо хорошее присутствует, так что успехов.

Что касается обработки уже залитого графа посмотрите вверху я приводил пример, разбейте граф на кусочки, и подгружайте по мере необходимости, кешируйте горячие куски, а сохраняйте только узменившиеся кусочки. Гуглите oracle ndm lod api идею можно подсмотреть.

Конечно, если у вас текущая реализация пытается сохранить 50 gb на каждый чих - это косяк архитектурный.

Пса. Пишу с тела не многословен. Сори
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135603
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRos,


Задача интересная у вас, приглашайте годного ДБА, он вас короткой дорогой приведет, а то будут сплошные велосипеды.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135611
beg-in-er
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lord British,
автор Грохните индексы перед заливкой,
хорошо построенный индекс ( я не про скл говорю, а вообще ) делается настолько быстро, что затраты на его создание ничтожны.
как это в mssql делается незнаю. гигабайты не заливал. но там всё много медленее.
а вот индекс строил. получилось быстрее , чем в Dictionary. а он очень шустрый. и по памяти в разы меньше.
но это так. офтоп.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135613
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beg-in-er,

Я тоже не про мсскл, про оракле. Предлагаю просто автору искать альтернативы в его субд... админы решают.


Тут вот рассказываетсяхорошее промо, но лучше читать докуме


http://www.dba-oracle.com/tips_lldr_loader.htm
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135614
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
beginner, по поводу скорости созданияиндекса в субд (не поддержка в конкурентной среде, а создание) там есть масса опций, которые удовлетворять огромное число сценариев по скорости. так что говорить, что где-то больше/меньше, быстрее/медленнее не совсем корректно. просто поставить субд и визардом все сделать - это не тест, вы же понимаете. Нужно прочитать толмкды, переварить и. Бой.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135703
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosSeVa,

задача такова - составить пооперационный оптимальный план работ (кто когда что где скоко,.. должен делать) и мониторить этот план в реалтайме с визуализацией на разных уровнях агрегации (матсер или кладовщик видятт РМ или паллету, а директор цеха и склады и т.д.)

сам граф невозможно строить параллельно, а вот параллельно строить разные графы (с применением разных политик управленческих) можно
данные находятся у владельцев данных (технологий и ресурсов)
вот приходит заказ к сбытовику
он делает широковещательный запрос кто могет?
доустим тут 2 владельца ТП (конечной сборки) - они окликаются
в свою очнредь они выставялют свои заказы (внутри тоже РМ являются могут являтся) отдельными владельцами)
кто то откликается
и т.д.
у каждого владельца(заказчика) есть оценщик критериальный
в конце концов последние звена высталяют свои времена и/затраты , оценщики заказичков оценивают и выбирают лучщего поставщика
и так до сбыта и клиента
выбранный (меченый оценщиками) граф становтся планом
а потом мониторинг и пересчет с учетом неподвижных-реперных плановых точек (внешних по поставкам и закупкам и финансам и кредитам)
вот

Интересная задача. Здесь не DBA нужен, а совсем другие подходы. Сахават, не возражаешь, если я черкну тебе на почту?
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38135765
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SeVa,

Напиши, конечно.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38139084
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosLord British,

ну что такое - шуршит?
скоко надо что бы инсертить 50 000 000 записей? (по кб допустим)

Сделал тебе немного конкретики. Обычный домашний комп, старый как моя тоска 2007 года, памяти 4Gb noname DDRII, CPU Core 2 Duo 2.13 Ghz.

Винт1: На нем лежит Fixed Width CSV размером 1.6 Gb (60 млн записей). Винт старый (обычный PC-шный SATAII 2007 года выпуска). Задрота вобщем.

Винт2: Оракловая табличка получатель лежит на другом винте (обычном PC-шном SATAII 2010 года выпуска). На этот же винт установлен сам Oracle и OS.

CSV файл 1.6 Gb с Винт1 на Винт2 копируется командой copy за 41 сек.

Содержимое этого же файла загружается в БД за 45 сек.

Потеря не большая по сравнению с обычным копированием, потому что оно просто пишет в datafiles минуя все. Вот и прикидывай с учетом рейдов, партишининга и т. п..

[spoiler proof]
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
SQL*Loader: Release 11.2.0.1.0 - Production on Tue Feb 5 22:51:40 2013

Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.

Control File:   imp.ctl
Data File:      data.csv
  File processing option string: "fix 27"
  Bad File:     data.bad
  Discard File:  none specified
 
 (Allow all discards)

Number to load: ALL
Number to skip: 0
Errors allowed: 50
Continuation:    none specified
Path used:      Direct - with parallel option.

Load is UNRECOVERABLE; invalidation redo is produced.

Table SCOTT.T1, loaded from every logical record.
Insert option in effect for this table: APPEND

   Column Name                  Position   Len  Term Encl Datatype
------------------------------ ---------- ----- ---- ---- ---------------------
ID                                   1:10    10           CHARACTER            
NAME                                12:22    11           CHARACTER            


Table SCOTT.T1:
  60170814 Rows successfully loaded.
  0 Rows not loaded due to data errors.
  0 Rows not loaded because all WHEN clauses were failed.
  0 Rows not loaded because all fields were null.

Bind array size not used in direct path.
Column array  rows :    5000
Stream buffer bytes:  256000
Read   buffer bytes: 1048576

Total logical records skipped:          0
Total logical records read:      60170814
Total logical records rejected:         0
Total logical records discarded:        0
Total stream buffers loaded by SQL*Loader main thread:    12395
Total stream buffers loaded by SQL*Loader load thread:        0

Run began on Tue Feb 05 22:51:40 2013
Run ended on Tue Feb 05 22:52:26 2013

Elapsed time was:     00:00:45.05
CPU time was:         00:00:35.54


[spoiler]
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38139519
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lord British,

Да ладно, это не только в Оракл подобные фишки. Массовый импорт и экспорт данных (SQL Server)

И ув. SeVa правильно заметил, что а) массовые ToList() - это зло в чистом виде б) запрос можно переписать с использованием join-ов

Не понимаю плача по производительности LINQ. Я воспринимаю его как некий аналог SQL. Естественно, что LINQ будет работать медленее, чем ручная реализация правильных алгоритмов. Просто написание запросов на нем декларативно имеет свои плюсы: а) гораздо быстрее писать запрос, чем ручная реализация, б) меньше потенциальных багов из-за косяков ручной реализации в) не факт, что выбранный программером алгоритм будет быстрее использованного в LINQ.

Да, и ставить в вину LINQ то, что им нужно уметь пользоваться, вызывает некое недоумение - разве есть инструменты, которые можно использовать наилучшим образом без понимания принципов его работы?

По сабжу как-то мало конкретики для меня, тк предметной областью не увлекался. Но понятно, что если нужно анализировать графы на таких объемах, то загон данных на MS SQL и расчет на SQL будут тяжеловесными (хотя критерии скорости обработки не приведены). В идеале - это InMemory Database System (Oracle TimesTen, McObject ExtremeDB). SQLite в этом режиме для 50 Гб не тестил, поэтому советовать не могу.

Возможно, перед тем, как кидаться в бой, нужно подучить теорию графов и использовать математический аппарат для нужного алгоритма. Я не к тому, что сомневаюсь в квалификации, а к тому, что хороший математик всегда может предложить как минимум не худший алгоритм анализа/обхода графов и деревьев, чем просто программист
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38139528
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SeVaДля цепочек параллельных вычислений сейчас появилась весьма интересная штучка - dataflow

Можете ссылку привести на внятное описание? Хочу почитать, а по dataflow слишком много мусора в поиске вываливается.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38139593
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arm, к чему этот боян, пиочитайте вверху. а заливку автору показал не чтобы он ораклю себе ставил, а нашел аналог у себе в мсскл, потому, что те пути что он использовал медленные. привел бы название способа со скоростью заливки ~ копирование файла, автору может полегчало бы.

на счет 50гб какая там инмеморидб, реализация кривая, он и сам об этом сказал вверху гдето. мы оптимальный пути на неск сотнях гб искали транспортной сети. и ниче никакой инмемори не понадобилось. нагородят реализацию на каждый чих сохраняющую 50гб графа, а потом думают, что у них случился фейсбук и инмеморинужна.

какая там матиматика, все уже придумано до нас (с) не помню кто.
...
Рейтинг: 0 / 0
на что хоть нарвался?
    #38139603
Lord British
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вероятно bcp
...
Рейтинг: 0 / 0
25 сообщений из 119, страница 3 из 5
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / на что хоть нарвался?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]