|
|
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
https://github.com/antonmks/Alenka Архивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз. Правда ли это ? Кто ставил, пробовал ? Я что-то так и не понял, как создать в ней базу... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2013, 23:46 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Никто не пробовал эту супербыструю базу ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 08:01 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой. Лучше бы подробнее описали здесь , что это такое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 10:30 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostАрхивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз. похоже на бред - зачем базе архивация/разархивация, или что имеется в виду? - каким образом скорость других функций связана с архивацией-разархивацией? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 11:20 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
kdvskorostАрхивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз. похоже на бред - зачем базе архивация/разархивация, или что имеется в виду? - каким образом скорость других функций связана с архивацией-разархивацией? Ну, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает. Но... Придумать такие специальные данные, которые будут жаться в 40 раз безусловно можно, но на практике что-то совсем жаться не будет, что-то в лучшем случае раза в два. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 14:26 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
CawaSPbПридумать такие специальные данные, которые будут жаться в 40 раз безусловно можноВы ничего не путаете?skorostпишут что скорость чтения и других функций из-за этого возрастает в 40 раз ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 14:32 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
CawaSPbНу, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает. Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 16:16 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
pkarklinCawaSPbНу, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает. Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)а почему нет ? если доступ к жатому данному "бесплатен" -- что якобы обеспечено пушечным сжатием/декомпрессией видюхой - то мы фактически смотрим на него как на "виртуальный" несжатый кеш много большего размера ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 16:56 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
servitВы ничего не путаете?skorostпишут что скорость чтения и других функций из-за этого возрастает в 40 раз Ну а чего тут путать? То, что бывают хорошо жмущиеся данные? Почему нет. Скорость чтения, соответствующим образом увеличится. Про "другие функции" - лажа, конечно. pkarklinЯ понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8) DB2 (for LUW), к примеру, страницы таблиц, для которых включено сжатие, держит в буффер-пулах сжатыми же до момента фактического обращения непосредственно к данным (использование в предикатах (отличных от '=' и '<>')/ отдать приложению). Т.е. в буффер-пулах они всегда остаются сжатыми - идентичными тому, что хранится на дисках, что логично. Реальное сжатие на хорошо жмущихся таблицах - процентов 40. Есть и такие, что в 10 раз жмутся. Есть, что не жмутся вообще. Словари создаются при reorg'ах/bulk load'ах, соответственно, компрессия/декомпрессия - операции весьма дешёвые. PS Не рекламы ради, а информации для. В свежей DB2 (с месяц назад вышедшей) представлены "row-based" таблицы - в страницах не строки хранятся, а содержимое одной колонки - там своё сжатие и теоретическая возможность обработки этой радости на векторных процах (или GPU). Ну т.е. об использовании векторных вычислений (реализованных в железе) для таких страниц и сжатия в них IBM пишет, но скорее всего это касается только современных Power'ов. Что из обещаемого там маркетинговая чепуха, а сколько реально полезного - пока неясно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 18:13 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
kdv, Архивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых, сотни ядер видеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 18:38 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
tanglirskorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой. Лучше бы подробнее описали здесь , что это такое. Я заинтересован в быстрой базе, а не в накручивании счетчиков. Странно что на этом форуме никто не слышал о различных плагинах которые переносят некоторые функции с обычного процессора на GPU, например, к кой-же MySQL. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 18:42 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostвидеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт.... который уронит производительность ниже плинтуса. На самом деле, конечно, не уронит, т.к. данные, которые жмутся в двадцать раз бывают только в рекламной мишуре. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 18:43 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, Мои данные нормально жмутся в 5-7 раз. Немного обзорной информации http://dlyfar.crystalnix.com/blog/2010/10/обработка-данных-gpu/ http://it.nsu.ru/node/122 http://gpgpu.org/index.php?s=database&searchbutton=Search ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 18:54 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostМои данные нормально жмутся в 5-7 разС двадцати перепрыгнули на пять. Уже хорошо. Если я скажу, что "мои данные" сжимаются ещё хуже - это вас расстроит или вы продолжите вбрасывать навоз? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:00 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, иди сам вбрасывай навоз со своими навозоданными которые плохо жмутся. пишу тем у кого все ок с головой и данными... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:04 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost, Вопрос в том что я не знаю как они там хорошо или плохо жмутся, но по тестинга типа в 30 раз нормально обходит CPU. Я не вижу в этом ничего удивительного т.к. скорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:06 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostпишу тем у кого все ок с головой и данными... Те, у кого всё ок с головой, понимают, что серебряной пули нет. И что декомпрессия данных - не самая затратная операция в СУБД. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:20 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostАрхивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых это все лабуда. Нынешние СУБД и так умеют сжимать и разжимать данные на страницах БД, но это делается не для всех типов страниц, и эта операция микроскопична по сравнению с остальными. Поэтому никакого ускорения тут быть не может. Если база сильно больше доступной памяти, то от дискового ввода-вывода вы не избавитесь. Если же доступно много RAM, то там хранятся уже распакованные данные, и все это "сжатие-разжатие" ни к чему. Если же паковать базу чем-то типа RAR, то я напомню, что БД - это файл произвольного доступа, и надо иметь быстрый доступ к любой странице. При сжатии всей БД это невозможно. p.s. я в курсе, что GPU вычисляет быстрее процессора. Но вычисления - не основная операция в СУБД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:27 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost, цитата из вашей обзорной информации " Практически в основе любой базы данных в качестве структуры данных для хранения лежит B-дерево. " дальше можно не читать. Хотя есть масса перлов " степеть ветвления B-дерева может быть очень большой (хотя она обычно определяется характеристиками используемых дисков " что-что??? " Множество обрабатываемых данных было ограничено столбцами с типами целое(int) и число одинарной точности с плавающей точкой(float). " кому нынче нужен этот убогий float, способный хранить только 7-8 цифр? и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:34 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost, и еще. вы проводите тест на SQLite. Но он однопользовательский. А следовательно, на нем не обрабатывают такие объемы данных, для которых потребовалось бы ускорение в 2 или даже в 5 раз. То есть, конечно, например Firefox мог бы работать с кэшем и побыстрее, только мне от этого ни холодно, ни жарко. Парадокс в том, что хорошие видеокарты (т.е. с хорошим GPU) ставят или специально для GPU-вычислений, или для игр, или для 3d-моделирования, и т.п., но при этом ставят также и достаточно мощный процессор, потому что иначе остальные задачи будут жутко тормозить. То есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 19:43 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostскорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки. Вы в курсе, что в северном оборудовании видеокарта - рудиментарный компонент и там нет большого кол-ва процессоров? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 20:00 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
pkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 23:10 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
kdv, авторТо есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления. Речь о том и идет, использует ли кто-то из присутствующих эти новинки ? У RADEON 7990 мощность 8 Террафлоп, кто из присутствующих здесь сможет себе купить подобную мощность собранную из CPU (и про сравнение энергопотребления пропустим разговор), т.е. из 800 CPU ??? Перспективы зависят от программистов-энтузиастов которые не являются пользователями БД (как большинство 15-ти летних критиков в этой ветке) а их программируют и следят за современными технологиями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 23:18 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostмощность 8 Террафлоп Какая досада, что в СУБД не используются флопы... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 23:34 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostpkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп. Гы... Вечер перестает быть томным... ((с) х\ф Москва слезам не верит.) Мы м.б., наконец, увидим суппер-пуппер рекорды сабжевой СУБД, внедренной хучь в каком-нибудь бизнесе, скажем с оборотом лярдов в 10ть в год. Или, это очередная наколенная поделка, которой доступ в корпоративный сектор закрыт априори? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 23:55 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorostкто из присутствующих здесь сможет себе купить подобную мощность собранную из CPU (и про сравнение энергопотребления пропустим разговор), т.е. из 800 CPU ??? Ты мне свой бюджет огласи (и в части энергосбережения, особенно, почем платишь за стойку с 5тью КВт?) и свои достижения в части Revenue, а потом мы с тобой кол-вом CPU померяемся... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2013, 23:59 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost надо с Базистом свести. М.б. скорешатся... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 00:07 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Теперь осталось только дождаться появления новой серверной линейки от ведущих производителей, оснащенной новейшими производительными игровыми видеокартами :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 09:18 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
pkarklinskorost надо с Базистом свести. М.б. скорешатся..."Алёнкин стебелёк"? Лучше не надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 10:09 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
skorost, Не слушай этих старперов. Про сжатие и говорить нечего. 2/3 современной реляционной СУБД это айдишники, тоесть лишний служебный кал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 19:07 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Но скажу честно, в GPU я не верю. В СУБД основная загвоздка это работа с дисковой системой или системой Ввода/Вывода. Если ее выпилить, то сразу прирорст производительность на два порядка, что и показывают инмемори. Сжатие/разжатие на GPU почти рояли не играет. GPU хорошо работает с матрицами, это правда. Но есть ньюансы, на хабре были куча узкоспециализированых статей, что стоит делать на GPU, а что не стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 19:12 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Адмiнskorost, 2/3 современной реляционной СУБД это айдишники, тоесть лишний служебный кал. Вот это утверждение, я понимаю. Ни добавить, ни убавить. skorost, вот таких слушай, такого больше нигде не услышишь :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 21:08 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 22:05 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Yo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU. а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2013, 19:35 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Ivan DurakYo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU. а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется. разница что там архивация налету при записи на хард, а тут при работе с памятью. Ну так и памяти тоже много не бывает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2013, 19:36 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Ivan Durakа вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется. Ну так это же не игровые видеокарты писюков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2013, 22:19 |
|
||
|
Кто-нибудь пробовал Alenca GPU based DB ?
|
|||
|---|---|---|---|
|
#18+
Ivan DurakYo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU. а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется. почему же никто не смеется, кое кто посмеивается уже: http://robklopp.wordpress.com/2013/05/01/a-teradata-prediction-comes-true-and-doubling-down-on-netezza/ FPGAs no longer provide a performance advantage (per my link above) FPGAs limit the ability of the DBMS to use more cores (see here) FPGAs limit the ability of the DBMS to manage workload (see here… and especially the comments) FPGAs and having a 2-phase split execution environment limits the ability to extend and enhance the code base (a new conjecture) Zone Maps and CBTs provide a limited ability to solve for a wide range of queries… they are just an index (see here) DB2 Column Store provides a performance boost equal to or greater than zone maps and CBTs (a new conjecture) DB2 BLU provides a performance boost well in excess of what Netezza can provide (see here) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2013, 14:16 |
|
||
|
|

start [/forum/topic.php?all=1&fid=35&tid=1552448]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
50ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
67ms |
get tp. blocked users: |
2ms |
| others: | 245ms |
| total: | 407ms |

| 0 / 0 |
