powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Кто-нибудь пробовал Alenca GPU based DB ?
37 сообщений из 37, показаны все 2 страниц
Кто-нибудь пробовал Alenca GPU based DB ?
    #38339804
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
https://github.com/antonmks/Alenka

Архивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.

Правда ли это ? Кто ставил, пробовал ? Я что-то так и не понял, как создать в ней базу...
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38339890
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Никто не пробовал эту супербыструю базу ?
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340039
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой.
Лучше бы подробнее описали здесь , что это такое.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340129
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostАрхивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.
похоже на бред
- зачем базе архивация/разархивация, или что имеется в виду?
- каким образом скорость других функций связана с архивацией-разархивацией?
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340554
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvskorostАрхивация/разархивация происходит в видеокарте, пишут что скорость чтения и других функций из-за этого возрастает в 40 раз.
похоже на бред
- зачем базе архивация/разархивация, или что имеется в виду?
- каким образом скорость других функций связана с архивацией-разархивацией?

Ну, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.
Но...

Придумать такие специальные данные, которые будут жаться в 40 раз безусловно можно, но на практике что-то совсем жаться не будет, что-то в лучшем случае раза в два.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340571
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPbПридумать такие специальные данные, которые будут жаться в 40 раз безусловно можноВы ничего не путаете?skorostпишут что скорость чтения и других функций из-за этого возрастает в 40 раз
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340835
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPbНу, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.


Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38340931
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinCawaSPbНу, положим, архивация/разархивация - дело полезное. Компрессированные данные на диске меньше места занимают => быстрее читаются, в памяти меньше занимают => больше в "кэш" влезает.


Я понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)а почему нет ?


если доступ к жатому данному "бесплатен" -- что якобы обеспечено пушечным сжатием/декомпрессией видюхой - то мы фактически смотрим на него как на "виртуальный" несжатый кеш много большего размера
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341106
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servitВы ничего не путаете?skorostпишут что скорость чтения и других функций из-за этого возрастает в 40 раз

Ну а чего тут путать? То, что бывают хорошо жмущиеся данные? Почему нет.
Скорость чтения, соответствующим образом увеличится. Про "другие функции" - лажа, конечно.


pkarklinЯ понимаю компрессия\декомпрессия при записи\чтения с диска, которое может повлиять на производительность при проблемах с IO, но что в кэше хранить сжатые данные... 8)

DB2 (for LUW), к примеру, страницы таблиц, для которых включено сжатие, держит в буффер-пулах сжатыми же до момента фактического обращения непосредственно к данным (использование в предикатах (отличных от '=' и '<>')/ отдать приложению).
Т.е. в буффер-пулах они всегда остаются сжатыми - идентичными тому, что хранится на дисках, что логично.

Реальное сжатие на хорошо жмущихся таблицах - процентов 40. Есть и такие, что в 10 раз жмутся. Есть, что не жмутся вообще.

Словари создаются при reorg'ах/bulk load'ах, соответственно, компрессия/декомпрессия - операции весьма дешёвые.

PS Не рекламы ради, а информации для.
В свежей DB2 (с месяц назад вышедшей) представлены "row-based" таблицы - в страницах не строки хранятся, а содержимое одной колонки - там своё сжатие и теоретическая возможность обработки этой радости на векторных процах (или GPU). Ну т.е. об использовании векторных вычислений (реализованных в железе) для таких страниц и сжатия в них IBM пишет, но скорее всего это касается только современных Power'ов.
Что из обещаемого там маркетинговая чепуха, а сколько реально полезного - пока неясно.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341146
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdv,

Архивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых, сотни ядер видеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341149
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tanglirskorost, никто и не попробует, пока вы не прекратите попытки накручивать счётчики и грузить форумчан маркетинговой лапшой.
Лучше бы подробнее описали здесь , что это такое.

Я заинтересован в быстрой базе, а не в накручивании счетчиков.

Странно что на этом форуме никто не слышал о различных плагинах которые переносят некоторые функции с обычного процессора на GPU, например, к кой-же MySQL.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341151
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostвидеокарты сожмут и разожмут очень быстро (процессор видеокарты мощнее обычного процессора минимум в 20 раз) и передадут разархивированные данные в необходимый софт.... который уронит производительность ниже плинтуса.
На самом деле, конечно, не уронит, т.к. данные, которые жмутся в двадцать раз бывают только в рекламной мишуре.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341168
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Basil A. Sidorov,

Мои данные нормально жмутся в 5-7 раз.

Немного обзорной информации http://dlyfar.crystalnix.com/blog/2010/10/обработка-данных-gpu/

http://it.nsu.ru/node/122

http://gpgpu.org/index.php?s=database&searchbutton=Search
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341177
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostМои данные нормально жмутся в 5-7 разС двадцати перепрыгнули на пять. Уже хорошо.
Если я скажу, что "мои данные" сжимаются ещё хуже - это вас расстроит или вы продолжите вбрасывать навоз?
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341183
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Basil A. Sidorov,

иди сам вбрасывай навоз со своими навозоданными которые плохо жмутся.

пишу тем у кого все ок с головой и данными...
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341187
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skorost,

Вопрос в том что я не знаю как они там хорошо или плохо жмутся, но по тестинга типа в 30 раз нормально обходит CPU. Я не вижу в этом ничего удивительного т.к. скорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341202
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostпишу тем у кого все ок с головой и данными...
Те, у кого всё ок с головой, понимают, что серебряной пули нет. И что декомпрессия данных
- не самая затратная операция в СУБД.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341207
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostАрхивация имеется ввиду, что сжатых данных с диска читается в единицу времени больше чем не сжатых
это все лабуда. Нынешние СУБД и так умеют сжимать и разжимать данные на страницах БД, но это делается не для всех типов страниц, и эта операция микроскопична по сравнению с остальными. Поэтому никакого ускорения тут быть не может.
Если база сильно больше доступной памяти, то от дискового ввода-вывода вы не избавитесь.
Если же доступно много RAM, то там хранятся уже распакованные данные, и все это "сжатие-разжатие" ни к чему.

Если же паковать базу чем-то типа RAR, то я напомню, что БД - это файл произвольного доступа, и надо иметь быстрый доступ к любой странице. При сжатии всей БД это невозможно.

p.s. я в курсе, что GPU вычисляет быстрее процессора. Но вычисления - не основная операция в СУБД.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341217
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorost,

цитата из вашей обзорной информации
" Практически в основе любой базы данных в качестве структуры данных для хранения лежит B-дерево. "
дальше можно не читать. Хотя есть масса перлов

" степеть ветвления B-дерева может быть очень большой (хотя она обычно определяется характеристиками используемых дисков "
что-что???
" Множество обрабатываемых данных было ограничено столбцами с типами целое(int) и число одинарной точности с плавающей точкой(float). "
кому нынче нужен этот убогий float, способный хранить только 7-8 цифр?

и т.д.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341229
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorost,

и еще. вы проводите тест на SQLite. Но он однопользовательский. А следовательно, на нем не обрабатывают такие объемы данных, для которых потребовалось бы ускорение в 2 или даже в 5 раз. То есть, конечно, например Firefox мог бы работать с кэшем и побыстрее, только мне от этого ни холодно, ни жарко.
Парадокс в том, что хорошие видеокарты (т.е. с хорошим GPU) ставят или специально для GPU-вычислений, или для игр, или для 3d-моделирования, и т.п., но при этом ставят также и достаточно мощный процессор, потому что иначе остальные задачи будут жутко тормозить.

То есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341245
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostскорость PCI-E и кол-во процессоров на видеокарте, в умелых руках и не больной головой, делают интересные штуки.

Вы в курсе, что в северном оборудовании видеокарта - рудиментарный компонент и там нет большого кол-ва процессоров?
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341433
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
pkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341443
skorost
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdv,

авторТо есть, какие-то перспективы в вычислениях на GPU для СУБД есть. Но они или достаточно мутные, или имеют крайне узкий круг потребления.

Речь о том и идет, использует ли кто-то из присутствующих эти новинки ? У RADEON 7990 мощность 8 Террафлоп, кто из присутствующих здесь сможет себе купить подобную мощность собранную из CPU (и про сравнение энергопотребления пропустим разговор), т.е. из 800 CPU ???

Перспективы зависят от программистов-энтузиастов которые не являются пользователями БД (как большинство 15-ти летних критиков в этой ветке) а их программируют и следят за современными технологиями.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341461
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostмощность 8 Террафлоп
Какая досада, что в СУБД не используются флопы...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341472
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostpkarklin, это вы - рудиментный компонент этой ветки форума, а не GPU мощностью 8 террафлоп.

Гы... Вечер перестает быть томным... ((с) х\ф Москва слезам не верит.)

Мы м.б., наконец, увидим суппер-пуппер рекорды сабжевой СУБД, внедренной хучь в каком-нибудь бизнесе, скажем с оборотом лярдов в 10ть в год. Или, это очередная наколенная поделка, которой доступ в корпоративный сектор закрыт априори?
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341474
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorostкто из присутствующих здесь сможет себе купить подобную мощность собранную из CPU (и про сравнение энергопотребления пропустим разговор), т.е. из 800 CPU ???

Ты мне свой бюджет огласи (и в части энергосбережения, особенно, почем платишь за стойку с 5тью КВт?) и свои достижения в части Revenue, а потом мы с тобой кол-вом CPU померяемся...
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341481
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorost надо с Базистом свести. М.б. скорешатся...
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341583
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Теперь осталось только дождаться появления новой серверной линейки от ведущих производителей, оснащенной новейшими производительными игровыми видеокартами :)
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38341633
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinskorost надо с Базистом свести. М.б. скорешатся..."Алёнкин стебелёк"? Лучше не надо.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38342779
Адмiн
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skorost,

Не слушай этих старперов.
Про сжатие и говорить нечего. 2/3 современной реляционной СУБД это айдишники, тоесть лишний служебный кал.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38342787
Адмiн
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но скажу честно, в GPU я не верю.
В СУБД основная загвоздка это работа с дисковой системой или системой Ввода/Вывода.
Если ее выпилить, то сразу прирорст производительность на два порядка, что и показывают инмемори.
Сжатие/разжатие на GPU почти рояли не играет. GPU хорошо работает с матрицами, это правда.
Но есть ньюансы, на хабре были куча узкоспециализированых статей, что стоит делать на GPU, а что не стоит.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38342879
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Адмiнskorost,

2/3 современной реляционной СУБД это айдишники, тоесть лишний служебный кал.

Вот это утверждение, я понимаю. Ни добавить, ни убавить. skorost, вот таких слушай, такого больше нигде не услышишь :)
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38342917
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38344265
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU.
а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38344269
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakYo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU.
а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется.
разница что там архивация налету при записи на хард, а тут при работе с памятью. Ну так и памяти тоже много не бывает.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38344425
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakа вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется.

Ну так это же не игровые видеокарты писюков.
...
Рейтинг: 0 / 0
Кто-нибудь пробовал Alenca GPU based DB ?
    #38345241
loki1984
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakYo.!помню где-то цитировал SUN, они говорили, что современная субд не имеет и 1% задач для GPU.
а вот есть нетизза от ибм. Которая к примеру ради архивации/разархивации на лету себе специальные FPGA матрицы аппаратные внедрили. И что-то над ними никто не смеется.
почему же никто не смеется, кое кто посмеивается уже:
http://robklopp.wordpress.com/2013/05/01/a-teradata-prediction-comes-true-and-doubling-down-on-netezza/

FPGAs no longer provide a performance advantage (per my link above)
FPGAs limit the ability of the DBMS to use more cores (see here)
FPGAs limit the ability of the DBMS to manage workload (see here… and especially the comments)
FPGAs and having a 2-phase split execution environment limits the ability to extend and enhance the code base (a new conjecture)
Zone Maps and CBTs provide a limited ability to solve for a wide range of queries… they are just an index (see here)
DB2 Column Store provides a performance boost equal to or greater than zone maps and CBTs (a new conjecture)
DB2 BLU provides a performance boost well in excess of what Netezza can provide (see here)
...
Рейтинг: 0 / 0
37 сообщений из 37, показаны все 2 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Кто-нибудь пробовал Alenca GPU based DB ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]