|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
есть ли возможность и смысл? очевидно возможно есть, как минимум через swap, но может как-то ещё? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.05.2020, 16:56 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза есть ли возможность и смысл? Но зачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 05:57 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
crutchmaster, ну сделать таким образом 2 тб памяти, например если OS вообще умеет с таким кол-вом обращаться... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 06:30 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Только через файл подкачки. Да и не надо это, т.к. обычная память в разы быстрее самых быстрых SSD. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 08:58 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза если OS вообще умеет с таким кол-вом обращаться... Это ограничение железа, а не ОС. Для ОС ограничение 2 64 . Она называется 64-битная потому что адреса 64-битные. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 09:12 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза, Но зачем 2 тб озу? Что с ней делать? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 09:45 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Только через файл подкачки. Да и не надо это, т.к. обычная память в разы быстрее самых быстрых SSD. да, но на неё слотов нет столько. Dima T Алексей Роза если OS вообще умеет с таким кол-вом обращаться... Это ограничение железа, а не ОС. Для ОС ограничение 2 64 . Она называется 64-битная потому что адреса 64-битные. 2в64 это 16777218 терабайт... хм, с запасом... однако у ОС есть проблема с большими дисками, она больше 2тб схавать не может, нужны расширения типа GPT это пережитки 2в32 или хз чё, но по аналогии я и с памятью предположил такие проблемы crutchmaster Но зачем 2 тб озу? Что с ней делать? да всё что угодно... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 10:07 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза да всё что угодно... А конкретно? Аллоцировать 1тб под хешмап потом долбить его в 1024 потока? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 10:11 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
crutchmaster, да хоть бы и нейросеть намутить. или просто инфу лопатить... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 10:13 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза да хоть бы и нейросеть намутить Он медленный. При каждом промахе кеша процессора начнут страницы памяти мотаться туда-сюда. В итоге всё упрётся в шину/контроллер и закончится тем, что ссд сдохнет, исчерпав ресурс. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 10:24 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза, А для нейросети тебе нужен тензорный процессор, а не ссд в своп. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 10:24 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
crutchmaster Алексей Роза да хоть бы и нейросеть намутить Он медленный. При каждом промахе кеша процессора начнут страницы памяти мотаться туда-сюда. В итоге всё упрётся в шину/контроллер и закончится тем, что ссд сдохнет, исчерпав ресурс. это же чтение будет, а не запись да и ресурс там достаточный, чтобы прожить несколько лет под средней нагрузкой ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 11:13 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза это же чтение будет, а не запись Там в любом случае терабайты данных не нужны и всё упрётся в кеш процессора. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 11:27 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
да найдём где нужны пока просто надо хранить данные в памяти и оперировать ими ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 11:43 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза да найдём где нужны пока просто надо хранить данные в памяти и оперировать ими ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 12:47 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
bga83 Алексей Роза да найдём где нужны пока просто надо хранить данные в памяти и оперировать ими так там упрётся в 1 с небольшим тб и всё на сервер больше не поставишь физически планки по 32гб, а слоты конечны ну а если надо 10? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 13:15 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Розану а если надо 10? Значит купите программиста поумнее. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 13:25 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Своп чем не устраивает? Делай хоть 100 Тб. ИМХО производительность не особо просядет по сравнению с желаемым прямым обращением из процессора к SSD. При свопе тормозит диск, быстрее диск - меньше тормозов. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 13:48 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Своп чем не устраивает? Делай хоть 100 Тб. своп так своп сколько стоит 100тб ссд... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 13:59 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза bga83 пропущено... так храните их именно в памяти, а не изобретайте костыли. Не позволяет текущее железо установит больше памяти - купите новое, где такая возможность есть так там упрётся в 1 с небольшим тб и всё на сервер больше не поставишь физически планки по 32гб, а слоты конечны ну а если надо 10? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 14:03 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза сколько стоит 100тб ссд... Примерно 10 р. за 1 Гб, т.е. 1 млн.р. Для сравнения DDR-4 400 р. за 1 Гб. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 14:19 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
bga83 купите соответсвующее железо, вот вариант чисто для примера - https://www.dell.com/ru/business/p/poweredge-r940/pd во, то что надо, спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 14:23 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Для сравнения DDR-4 400 р. за 1 Гб. На больших объемах ECC становится обязательным. И память получается дороже раз в 10. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 14:34 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
https://ru.wikipedia.org/wiki/IBM_i Была выпущена в 1988 году, получила известность под названием OS/400 ... одноуровневая память (Single Level Storage), то есть обращение к дисковой памяти неотличимо от обращения к оперативной; ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 15:01 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
На любом железе работают Memory Mapped Files. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 15:19 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
да, технологии не спят, выбор есть ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 16:21 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
но наверное swap остаётся оптимальным, в плане удобства кеширования т.е. через swap проще всего держать в памяти самое актуальное? вот в этих файлах наверное самому придётся отслеживать? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 16:50 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Розавот в этих файлах наверное самому придётся отслеживать? Нет, система позаботится об этом за тебя. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 17:59 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov На любом железе работают Memory Mapped Files. Это тот же своп, только в заданный файл. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 19:04 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima TЭто тот же своп, только в заданный файл. Ну да. Тем и хорош, что его можно организовать лично для себя, не копаясь в настройках системы. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 19:10 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Винда, а следом и юникс, предоставляет любой программе 2 гб памяти(адресов). Этих прог в винде не один десяток, при минимальной физической памяти 8 Гб. Т.е. операционки давно используют SSD-HDD в качестве памяти. В чем вопрос? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2020, 22:33 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
stanilar Винда, а следом и юникс, может наоборот? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 04:02 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
stanilar, stanilar Винда, а следом и юникс, предоставляет любой программе 2 гб памяти(адресов) * x32 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 04:21 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
stanilar предоставляет любой программе 2 гб памяти(адресов). Так было в x32, для x64 это 2 64 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 07:21 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Dimitry Sibiryakov На любом железе работают Memory Mapped Files. Это тот же своп, только в заданный файл. таки разница есть в скорости? и ещё, своп совершенно прозрачен для программ, его в любой момент подключаешь и юзаешь незаметно с файлами так же? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 07:33 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза Dima T пропущено... Это тот же своп, только в заданный файл. таки разница есть в скорости? и ещё, своп совершенно прозрачен для программ, его в любой момент подключаешь и юзаешь незаметно с файлами так же? В скорости нет разницы, т.к. принцип работы одинаков. Как выше замечено - с помощью мапа можно организовать персональный своп для своего приложения, не трогая глобальные настройки ОС. Еще плюс в том что состояние памяти (файл) сохраняется на диске. Для использования файла надо сначала спроецировать его в память, это не сложно. https://habr.com/ru/post/55716/ ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 07:45 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза своп совершенно прозрачен для программ Точнее - незаметен. Своп это технология работы с файлом, а не с распределением памяти между программами. Dima T Так было в x32, для x64 это 2 64 Это зависит от настроек, с которыми запускается программа. Для совместимости, в 64 системах программы запускается с 2 гб памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 16:45 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
crutchmaster Алексей Роза есть ли возможность и смысл? Но зачем? SSD в качестве памяти подкинет вам медвежью услугу. Машина станет - как медленный покемон. Ведь смысл памяти не в том чтобы ее было много. А в том чтобы цена доступа к ней на каждом уровне была адекватной. В том виде как SSD используется сегодня - он вполне себе хорош. Еще оригинальное использование SSD (еще старого типа в корпусе) было реализовано в OracleExadata. Там буферный кеш просто расширили на специальную область SSD и таким образом вылетающие db-blocks из буферного кеша по алгоритму LRU попадали в такой-же теневой LRU на SSD. Но за счет такой организации этот-же блок мог очень быстро и эффективно поднят обратно в buffer-pool минуя ASM-Storage который уже был на магнитных дисках. Поставить всю базу на SSD по понятным причинам не могли. Дорого. Но компромиссное решение нашли. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 18:07 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
иногда смысл памяти - ускорить доступ к данным ... |
|||
:
Нравится:
Не нравится:
|
|||
26.05.2020, 18:17 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Я весной в Подольске покупал дисковый накопитель 3.2 Тб за 1000 руб. PCI-E. Как нерабочий, конечно. Сейчас он в мастерской, сегодня звонил, завтра обещали проверить и удостовериться, что починили. То есть 150 тр за такой не всегда необходимо выкидывать. Это не себе, у меня друзья видеомонтажом занимаются. А в данной ситуации лучше посмотреть в сторону дешевой памяти и кластерных систем. Купить корзину с блейдами, забить её оперативой. Например на LGA1366 будет достаточно бюджетно. И блейды и процы такого уровня стоят копейки. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.08.2020, 21:53 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
что за дисковый накопитель за 150 тыр? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.08.2020, 22:25 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020, вот, например) https://www.nix.ru/autocatalog/ssd_intel/SSD-64-Tb-U2-Intel-DC-P4610-Series-SSDPE2KE064T801-25-3D-TLC_402844.html ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 10:23 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
rahzer, дисковый ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 13:20 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Дисковый накопитель представляется системе в виде блочного устройства. NVMe устройства тоже используются как блочные. "Чёнетакто?!" ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 15:36 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Имеется в виду следующее. Домашнее видео надёжнее сохранится на магнитном диске. Его всегда починить можно. А SSD пока еще не научились чинить. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 15:46 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton Его всегда починить можно ??? "Единственное, что может спасти смертельно раненного кота, — это глоток бензина" ( C ) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 15:52 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, он про "вытащить инфу" ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 16:01 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 Leonid Kudryavtsev, он про "вытащить инфу" А вот админы об этой чудо-опции накопителей HDD и не знают бекапы зачем-то делают Вы бы их научили, что ли. Можно даже консалтинговый бизнес открыть. Я Вам даже рекламный слоган подскажу "свободная жизни без надоевших бекапов!" ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 16:36 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
авторЕго всегда починить можно авторон про "вытащить инфу" Ага, если учесть, что современные HDD уже инертными газами накачивают, то вряд ли дома создадите такую лабораторию.. Сейчас даже если контроллер диска сдохнет, и с аналогичного даже переставите - дулю получите.. Такое лет 15 только прокатывало.. А уж если полетит двиг или магнитные головки - то стоимость восстановления будет такой стоимости, что на свои фоточки - я у моря, я с женой - вы точно плюнете.. А уж если вообще диск запилится головками (а такое бывает), то...О восстановлении можете забыть в принципе.. У SSD идет физический износ, что приводит к большому току утечки и ячейка не может больше хранить заряд длительное время, поэтому и надо следить за износом.. Ну и если информация нужна, то бэкапы.. Но темя была не в этом, но как всегда у некоторых все свелось - нафига мне ваш инжектор, я карбюратор сам в поле починю) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 16:55 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Алексей Роза 2020 Leonid Kudryavtsev, он про "вытащить инфу" А вот админы об этой чудо-опции накопителей HDD и не знают бекапы зачем-то делают Вы бы их научили, что ли. Можно даже консалтинговый бизнес открыть. Я Вам даже рекламный слоган подскажу "свободная жизни без надоевших бекапов!" Восстановить 99% фоток и 99% бэкапа БД предприятия - вещи несопоставимые. Да и не всегда восстановить получается, фотки жалко, но это не смертельно. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 20:15 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
rahzer У SSD идет физический износ, что приводит к большому току утечки и ячейка не может больше хранить заряд длительное время, поэтому и надо следить за износом.. Эта проблема частично порешана, в инете публиковали тесты работы SSD на износ, где-то после 1Тб записи они уходят в режим readonly и данные можно снять. Но нет никаких объективных данных сколько будут хранится данные на SSD без питания, там тоже разложение идет и хз сколько оно пролежит. Разве что в жидкий азот ... ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 20:23 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
rahzer Алексей Роза 2020, вот, например) https://www.nix.ru/autocatalog/ssd_intel/SSD-64-Tb-U2-Intel-DC-P4610-Series-SSDPE2KE064T801-25-3D-TLC_402844.html Да, аналог. OCZ_овский. Их сейчас Toshiba купила. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 20:54 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Алексей Роза 2020 Leonid Kudryavtsev, он про "вытащить инфу" А вот админы об этой чудо-опции накопителей HDD и не знают бекапы зачем-то делают Вы бы их научили, что ли. Можно даже консалтинговый бизнес открыть. Я Вам даже рекламный слоган подскажу "свободная жизни без надоевших бекапов!" При чем тут админы? Ручное восстановление - это просто механика. Вынимаем физически блин. Переставляем его в другой ХДД с такими-же характеристиками. Далее утилиты которые срывают образ RAW-поверхности диска и потом уже этот образ добивается обычными экстраторами бинарной информации binwalk, foremost, photorec. Таким образом я доставал jpg-файлы с одного своего мёртвого диска. Разумеется в данных будут дыры. Но всем пофиг. Если хоть 80% инфы достали - уже успех. Как вы понимаете к бэкапам БД и стореджей эта методика не применима. А вот для вашего домашнего фото-альбома где вас "купает бабушка в ванне" в возрасте 2х лет - это самое то. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2020, 22:07 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
технологии восстановления данных тоже не спят, гуглите хотя тут я теоретик, но читал много интересного. mayton, а как ты победил фрагментацию? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2020, 00:19 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Я ничего не побеждал. Это было лет 10 назад. И я использовал какие-то готовые тулзы. Разумеется часть картинок была битая. Но это тоже успех. Лучше чем ничего. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2020, 00:29 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Алексей Роза если OS вообще умеет с таким кол-вом обращаться... Это ограничение железа, а не ОС. Для ОС ограничение 2 64 . Она называется 64-битная потому что адреса 64-битные. в amd64 и других архитектурах не используют все 64 бита для адресации ... |
|||
:
Нравится:
Не нравится:
|
|||
26.08.2020, 13:35 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
26.08.2020 13:35, Roman Mejtes пишет: > в amd64 и других архитектурах не используют все 64 бита для адресации а сколько? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2020, 15:27 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Roman Mejtes Dima T пропущено... Это ограничение железа, а не ОС. Для ОС ограничение 2 64 . Она называется 64-битная потому что адреса 64-битные. в amd64 и других архитектурах не используют все 64 бита для адресации Я это и написал. Есть ограничения у железа, а ОС (и остальное ПО) использует все 64 бита для адресации памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.08.2020, 15:46 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Процессоры Athlon 64 и Opteron не полностью 64-битные. Да, для указателей в программах используются новые 64-битные регистры, но объем адресуемой памяти в 16 экзабайт (16*1048576 терабайт) 64-битной адресации показался AMD излишним (вполне справедливо). Поэтому нынешние процессоры используют 48-битную адресацию, и позволяют адресовать до 256 Тб виртуальной памяти. Старшие 16 бит 64-битного адреса пока не используются. Для задания физического адреса в адресной шине отведено и того меньше - 40 бит, что позволяет иметь до 1 Тб физической оперативной памяти. Однако сейчас трудно представить себе компьютер даже с подобным количеством памяти, тем более, что будущие версии процессоров AMD64 могут иметь и более широкую адресную шину. Системным программистам может быть интересно, как в новом процессоре осуществляется трансляция линейных адресов в физические: ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 09:49 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Данный топик по большей части состоит из прикладников. Но у них иногда возникают "порочные" желания. Лет 5 назад один господин упорно строил свою DBMS с 1-наносекундным доступом на базе обычной памяти. По большей части его топики лежали в ПТ, поэтому ссылок дать не могу. Сорян. Но это было эпично. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 09:59 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Roman Mejtes до 1 Тб физической оперативной памяти. Однако сейчас трудно представить себе компьютер даже с подобным количеством памяти Кому трудно-то??? Код: plaintext 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 10:24 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Вот Амазон щас продает EC2 инстанции. Я скопирую кусок из прайса (в категории Memory-Optimized) Код: sql 1.
Вот первый столбец это ее название по каталогу а четвертый - это сколько памяти на борту. Берите. Покупайте и наслаждайтесь. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 10:50 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
"per hour" - это не продаёт, а аренда. $28 тысяч?? mayton Данный топик по большей части состоит из прикладников. Но у них иногда возникают "порочные" желания. Лет 5 назад один господин упорно строил свою DBMS с 1-наносекундным доступом на базе обычной памяти. По большей части его топики лежали в ПТ, поэтому ссылок дать не могу. Сорян. Но это было эпично. Я так понимаю, без ECC взлетело, но не на долго? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 15:22 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
28 долларов за час когда инстанс работает/включен, если выключен - платит не нужно (не уверен, что не нужно платить за дисковое место, нужно уточнять) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 15:44 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 mayton упорно строил свою DBMS с 1-наносекундным доступом на базе обычной памяти. По большей части его топики лежали в ПТ, поэтому ссылок дать не могу. Сорян. Но это было эпично. Я так понимаю, без ECC взлетело, но не на долго? Сомневаюсь. Думаю ждет, когда Samsung и прочие вендоры наконец 1 наносекундную микросхему DRAM разработают ))) думаю ждать еще лет 100 ))) т.ч. или ишак или падешах ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 15:48 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 "per hour" - это не продаёт, а аренда. $28 тысяч?? mayton Данный топик по большей части состоит из прикладников. Но у них иногда возникают "порочные" желания. Лет 5 назад один господин упорно строил свою DBMS с 1-наносекундным доступом на базе обычной памяти. По большей части его топики лежали в ПТ, поэтому ссылок дать не могу. Сорян. Но это было эпично. Я так понимаю, без ECC взлетело, но не на долго? ECC - непричем. Там - близок технологический предел при котором можно увеличивать разные параметры. Количество каналов. Пропускные способности. Но нельзя сильно уменьшить время отклика т.к. 1 нс - это близко к нескольким десятков сантиметров полёта света в вакууме. А поскольку расстояние между монтажными элементами электроники меряется порядка нескольких сантиметров. То получить сколь либо серъезного улучшения уже нельзя. Электрический ток не будет быстрее света. Но наш предприимчивый господин создавал синтетические тесты которые близко подходил к этому (я подозреваю что он прогревал кеш L1 на малом объеме данных и просто демонстрировал нам некие цифры). А когда он перенес бизнес логику с С++ в C# то у него скорость упала тысячекратно. Или когда он вместо критических секций юзал Windows - mutexes там было еще хуже. Ну про интеракцию с диском и сетью - мы вообще даже не говорим. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 15:55 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
пардон, я думал 1нс - это оборот речи такой, а главная цель - это таки DBMS в памяти А он всерьёз поставил цель в 1нс... нахера mayton А когда он перенес бизнес логику с С++ в C# то у него скорость упала тысячекратно. Или когда он вместо критических секций юзал Windows - mutexes там было еще хуже. Ну про интеракцию с диском и сетью - мы вообще даже не говорим. нда, это и так было очевидно. Leonid Kudryavtsev 28 долларов за час а какой смысл показывать 818 наноцентов? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 16:03 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
01.09.2020 16:03, Алексей Роза 2020 пишет: > а какой смысл показывать 818 наноцентов? так то ж за наносекунды! Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 16:04 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev 28 долларов за час когда инстанс работает/включен, если выключен - платит не нужно (не уверен, что не нужно платить за дисковое место, нужно уточнять) Там... сложная формула биллинга. У амазона есть резервированные инстансы. И спотовые. По разному могут считаться. И есть разные округления в тарификации не в вашу пользу. Ну типа если вы на 1 минутку подняли инстанс - будет посчитан 1 час. Хотя может что-то поменялось. Я точно не уверен. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 16:12 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020А он всерьёз поставил цель в 1нс... нахера Это путь Web High Load: "мы не в состоянии ускорить наш код, поэтому просто напишем в требовании к СУБД выдавать результат за -10 секунд". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:01 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
как код не ускоряй, а бд это не ускорит. вот запросы - да, но даже с ними предел весьма низкий. так и что у него в итоге получилось то? ник помнишь, mayton? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:30 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
01.09.2020 17:30, Алексей Роза 2020 пишет: > так и что у него в итоге получилось то? громкий пук в лужу. что ж ещё может получиться в ПТ? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:35 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 как код не ускоряй, а бд это не ускорит. вот запросы - да, но даже с ними предел весьма низкий. так и что у него в итоге получилось то? ник помнишь, mayton? У него было несколько ников. Студентик. Базист. rstudio, ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:42 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Ну Стебелек стал практически эталонной СУБД, на которую равняется весь форум (в некотором роде) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 18:00 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
тьфу блин, так это он редиску делал или некую помесь ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 18:06 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Краткий обзор по мотивам "юмористического портала sql.ru" https://aminux.wordpress.com/2011/09/23/oracle/ ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 18:24 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
По заверениям автора он даже где-то внедрил ее (толи в авто-магазине толи на Бензоколонке). По основному профилю он вроде-бы дотнетчик. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 18:46 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Краткий обзор по мотивам "юмористического портала sql.ru" https://aminux.wordpress.com/2011/09/23/oracle/ чё-то ничего интересного вообще, больше клоунада студенческая. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 19:00 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 Leonid Kudryavtsev Краткий обзор по мотивам "юмористического портала sql.ru" https://aminux.wordpress.com/2011/09/23/oracle/ чё-то ничего интересного вообще, больше клоунада студенческая. На самом деле нет. Топик был вполне себе плотным и я там участвовал. Есть еще другой срач на тему еще одной DBMS по имени FVMas. Более бледная тень Стебелька но по сведениям... реально внедренный NoSQL и работающий. И даже GUI там был. Вообще я считаю ценным для каждого разработчика хотя-бы раз в жизни придумать свой ЯП и свою DBMS. Более тускло выглядят те у кого таких идей нигода не возникало. И критиковал я Базиста кстати за незнание основ ACID а вовсе не за саму разработку. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 19:09 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
опыт важнее всего, но там сама идея кривая изначально выбрано неправильное направление ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 19:44 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
А SSD в качестве памяти - точно правильное? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 19:45 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
так это вопрос был, а не утверждение оказалось, что SSD существенно памяти проигрывает ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 20:22 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 оказалось, что SSD существенно памяти проигрывает ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 20:34 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
кстати, не так давно обсуждал этот вопрос, если постоянные накопители будут работать со скоростью ОЗУ, то смысл в ОЗУ отпадает, следовательно это будет 5 колесо в архитектуре процессора. Это может привести к целой эволюции процессоров и работы с памятью ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 07:35 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
таки проще ОЗУ тогда и использовать ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 10:17 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Roman Mejtes если постоянные накопители будут работать со скоростью ОЗУ ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 11:14 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Вроде Intel обещала какую-то технологию со скоростью ОЗУ и постоянным хранением информации Да и Росснано (куда уж без них) тоже что-то такое нано-технологичное купил и разрабатывает. Вроде совсем недавно была новость, что даже микросхему выпустили, что-то в районе 128 КИЛО байт памяти ))), наверное делали максимально совместимым с РУ5 и пр ))) теперь, наконец-то, можно энергонезависимые ZX Spectrum паять ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:30 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Кого-то не устраивает пирамидальная модель современной памяти? Захотелось свой Стебелек написать? С постоянным временем доступа в любую ячейку? Что-же за софт вы делаете, господа? Хеш табличку на всю оперативу? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:40 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Вроде Intel обещала какую-то технологию со скоростью ОЗУ и постоянным хранением информации Intel Optane . Только мутно с ней все, сплошная реклама и никаких технических деталей. В продаже только SSD на ее основе. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:45 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
p.s. я даже не ошибся. 1 мбит на микросхему (128 кило байт), а обещают все 128 мбит https://www.rusnano.com/about/press-centre/news/20200812-rosnano-crocus-nanoelectronica-vypustila-energonezavisimuyu-pamyat-novogo-pokoleniya https://ru.wikipedia.org/wiki/RRAM ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:47 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, ни в одной из ваших ссылок нет главного - времени доступа к ячейке и времени (пере)записи. С флэшем все эти технологии могут и, возможно, будут конкурировать с памятью ... "Меня опять терзают смутные сомнения". ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:55 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Leonid Kudryavtsev Вроде Intel обещала какую-то технологию со скоростью ОЗУ и постоянным хранением информации Intel Optane . Только мутно с ней все, сплошная реклама и никаких технических деталей. В продаже только SSD на ее основе. В рекламном буклете описано все хорошо. Время покажет. Я думаю что вещь скорее хорошая чем плохая. Но вы-же помните старый технический спор о том что лучше Грузовик или Гоночный болид. Надо смотреть всё в совокупности. P.S. У меня еще с техникума в голове крутится термин "память на ферридах...." Эх как-бы не вышло что новое - это просто реинкарнация идей 20-го века. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 15:57 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
к сожалению, по-настоящему "нового" у нас ничего не будет почитайте про Римский клуб и их "концепцию НУЛЕВОГО роста". Она НАУЧНО объясняет, почему человечеству НЕЛЬЗЯ развиваться. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 16:11 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
02.09.2020 15:57, mayton пишет: > У меня еще с техникума в голове крутится термин "память на ферридах...." Эх как-бы не вышло > что новое - это просто реинкарнация идей 20-го века. > я такую ещё застал: Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 16:11 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Мимопроходящий, шикарно. Я-б купил. Для коллекции. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 16:19 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Intel Optane . Только мутно с ней все, сплошная реклама и никаких технических деталей. В продаже только SSD на ее основе. Где-то-в-инетахТехнологии постоянной памяти (PM) позволяют использовать в новых серверах второго поколения Intel® Xeon® Scalable запоминающие устройства с атрибутами как хранилища, так и памяти (Storage Class Memory, SCM – память как класс хранилища). Модули постоянной памяти на основе технологии 3D XPoint™ с интерфейсом DDR4 по пропускной способности и задержкам приближаются к традиционным DRAM модулям памяти (одновременно поддерживая побайтную адресацию, а также подключение по DDR шине), но являются энергонезависимыми, как SSD или HHD диски Постоянная память от Intel (Intel® Optane™ DC) может использоваться в трех режимах (модах): Memory Mode – байт адресуемая память, видимая операционной системой и приложениями как обычное ОЗУ; App Direct (application direct) – побайтноадресуемое хранилище, видимое как DAX filesystem и требующее от приложений умения с ним работать; Storage over App Direct mode – блочное хранилище, видимое ОС и приложениями как обычный диск. В одном сервере Intel® Optane™ DC может использо ваться сразу в нескольких режимах. Basil A. Sidorov Leonid Kudryavtsev, ни в одной из ваших ссылок нет главного - времени доступа к ячейке и времени (пере)записи. С флэшем все эти технологии могут и, возможно, будут конкурировать с памятью ... "Меня опять терзают смутные сомнения". Это нужно в подфоруме C просить. Пусть автор и владелец "вектора на триллион" протестирует и нам расскажет ))) У меня дома всего лишь Athlon с 8 Gb, мне не до Optane ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 16:39 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Там где триллион или где Амазончик продает (сдает в аренду) железку на 4Терабайта возможно NUMA. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 16:47 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
ИМХО у энергонезависимой памяти есть ограничение по количеству циклов записи. Современные SSD могут записать чуть больше петабайта (2^50) до ухода в отказ. Рассмотрим носитель 256 Гб (2^38) и получается 2^(50-38) = 4096 раз можно записать в одно место. Всего лишь 4096 !!! Современные SSD это ограничение обходят хитромудрыми алгоритмами смены места записи, но хз как им это решать если они станут оперативной памятью. Кому надо счетчик работающий до 4096 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 20:56 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T, +1 Да это интересная мысль. Если с файловой системой там можно было как-то схильнуть. Буферизировать. То память должна обеспечивать какое-то соглашение по видимости изменений и фиксацию мнгновенно без задержек. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 21:18 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Где-то полвека назад работали с ЦМД (память на цилиндрических магнитных доменах). Сейчас, как я понимаю, это MRAM и "ограничения на количество перезаписей" у неё примерно такие же, как у НЖМД - никаких. Из того, что я читал лет десять назад, сложилось впечатление, что по времени доступа MRAM сравнима с DRAM (десятки наносекунд), но сильно уступает по плотности ячеек (~180нм). С другой стороны, если делается "какойнить токен", которому десятка мегабайт на сотне мегагерц - за глаза, то вай бы, собственно, и нот? P.S. Это я всё к тому, что технологий энергонезависимой памяти - больше одной. И даже больше двух. Поэтому не надо проецировать недостатки одной технологии на все варианты энергонезависимой памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.09.2020, 04:17 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
когда скорость дисков достигнет скорости оперативной памяти, в последней не будет необходимости и ей удалят из архитектуры и всё будут размещать на диске ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 10:49 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Roman Mejtes когда скорость дисков достигнет скорости оперативной памяти, в последней не будет необходимости и ей удалят из архитектуры и всё будут размещать на диске Я-бы сказал что движение идёт в обратную сторону. Файловая система как концепция - постепенно уходит. Само понятие - диск уже потеряло смысл. Уже лет 10 нету никаких дисков, секторов, шпинделей и блоков головок. Особенно в mobile-сегменте. Я не говорю что файлы не нужны. Они наверное остануться. Просто такой API как fopen()/fseek()/fread/fwrite/fclose() постепенно выйдет из использования. Его заменит memory-mapping. Если уже не заменил. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 12:46 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton, вряд ли 1) кроме ноутбуков существуют еще сервера и хранилища данных 2) последовательный доступ всегда был и будет быстрее случайного. Даже, внезапно, на RAM. Старенькая РУ5 в Zx Spectrum с 64 Kbit памяти и то имела циклы: установка адреса строки, установка адреса колонки/ячейке в строке, запись или чтение данных. Соответственно, последовательный доступ был быстрее, т.к. адрес строки банально не нужно было менять/передавать в микросхему. Подозреваю, в современной памяти все так же, только еще хуже ))). Интерфейсы взаимодействия между блоками компьютера все более и более из паралелльных становятся последовательными. Throughtinput возрастает, а latency или то же или даже замедляется. Для RAM, скорее всего (точно не знаю), размер оптимального блока 64 байта - размер строки cache линии процессора Для SSD - 512/4Kb на чтение и 64/256 Kb (или больше) на запись Для жестких дисков и RAID массивы - мегабайты и даже, от самой ячейки это не сильно зависит, т.к. между ячейкой памяти и процессором еще будут располагаться: IDE / SATA / SCSII - контроллер массива, дисковой полки - FibreChannel / SCSII / Inifiniband / Ethernet - свитч и метры кабеля - плата / контроллер в компьютере - PCI-E - процессор Все инфраструктуру на DDR4-микросхему не запихать, а даже если и запихать ))), даже для обычной RAM, в многопроцессорных конфигурациях тут же на NUMA наталкиваемся. Когда даже доступ к оперативной памяти может подразделяться на "своя память" и "чужая память" Т.ч. пока вместо упрощения иерархии доступа к памяти, существует потребность еще более усложнить иерархию памяти. Т.к. например адекватной поддержки NUMA в средствах разработки и языках программирования, вот лично я не знаю. Взять Java, видел ряд работ в Инете, где пытались Heap и Thread под NUMA оптимизировал, не получилось... получилось хуже, чем работать с усредненной памятью. Усредненной, это когда или повезет и попадется быстрая или не повезет и попадется медленная ))) - но в среднем, все более-менее работает. IMHO ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 13:42 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev 1) кроме ноутбуков существуют еще сервера и хранилища данных что им мешает хранить данные в памяти? Leonid Kudryavtsev 2) последовательный доступ всегда был и будет быстрее случайного. Даже, внезапно, на RAM. в памяти расклад такой же, как и на диске - последовательные адреса. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 13:59 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev mayton, вряд ли 1) кроме ноутбуков существуют еще сервера и хранилища данных 2) последовательный доступ всегда был и будет быстрее случайного. Согласен. Мы до сих пор используем утилиту tar (Tape Archive) без глубокого понимания ее предназначения. А оно было в том чтобы сливать на магнитную ленту файлы одним потоком. И конечно те датацентры которые продают услугу - будут испльзовать API дешевых носителей в соотношениий цена в центах на 1 гигабайт самого ностителя. Но это - сегмент который от нас далек. В потребительском я имею в виду следующее. В прикладных языках разработки доминирующим остается streamable-API который вообще с файлами работает последовательно (text, xml, json .etc) и собственно скрипты и активное содержимое. Но что находится под капотом - мы не знаем. В топике с Алексеем Розой мы дошли то того что в Linux фунекция malloc уже сразу работает с mmap. Грань между диском и памятью уже стерта. И она может бысть стерта и в обратку. Точно также и open может работать не с файлом а с виртуальным куском памяти который намаплен на файл. Это дает сразу коробочные механики кеширования. Stremable - слава богу. А если Random access - ну тоже ничего так. Потерпит система. А если есть те кто садо-мазохист и хочет сырого диска - то пускай какие-то DIRECT_IO опции ищет. Ему видать нужнее. Но % таких юзкейсов будет стремительно падать. На этих выходных мы можем поднять топик обсуждения файловых API будущего. Что будет с файлом? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:03 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Соответственно, последовательный доступ был быстрее, т.к. адрес строки банально не нужно было менять/передавать в микросхему. 100% согласен. Я всем и себе рекомендую использовать последовательный доступ до тех пор пока это возможно. Это рационально. Лаконично. Ситуация когда прикладик полез в Random-Access - это значит он разрабатывает свой бинарный формат (во много раз превышающих heap) и требующий позиционирования seek . А дальше этому прикладнику надо решить что будет он создавать свою БД и тогда ему дорога в другую сторону. Или все такие ему стоит пересмотреть алгоритм и понять зачем ему нужно работать с блочным рандомным доступом. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:08 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Т.ч. пока вместо упрощения иерархии доступа к памяти, существует потребность еще более усложнить иерархию памяти. Т.к. например адекватной поддержки NUMA в средствах разработки и языках программирования, вот лично я не знаю. Взять Java, видел ряд работ в Инете, где пытались Heap и Thread под NUMA оптимизировал, не получилось... получилось хуже, чем работать с усредненной памятью. Усредненной, это когда или повезет и попадется быстрая или не повезет и попадется медленная ))) - но в среднем, все более-менее работает. Мне кажется NUMA это все таки далеко не потребительский сегмент. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:14 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Roman Mejtes когда скорость дисков достигнет скорости оперативной памяти, в последней не будет необходимости и ей удалят из архитектуры и всё будут размещать на диске Сомневаюсь что достигнут. На сегодня самые производительные SSD раз в 10 медленнее средней DDR4. Не думаю что у производителей SSD есть задел на такой рывок. И потом производители оперативной памяти тоже на месте не стоят. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:33 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Интерфейсы взаимодействия между блоками компьютера все более и более из паралелльных становятся последовательными. Throughtinput возрастает, а latency или то же или даже замедляется. ИМХО не от хорошей жизни это происходит. Думаю это плата за миниатюризацию железа, чтобы банально не получить разъем больше чем цепляемый им девайс, да и места все меньше и меньше в ноутах и прочих девайсах. Там где требуются высокие скорости - параллельные шины никуда не деваются, например оперативную память никто не предлагает последовательно к процу цеплять. Или обсуждаемые высокоскоростные SSD NMVe используют 4 последовательных PCIe шины. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:42 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Возможно формулировка не совсем верная. Интерфейс ide который был полностью параллельным, был заменён на последовательный и более надёжный SATA. Это было инженерное решение в духе времени. Дешевле было собрать электронику которая модулировала и передавала по кабелю бит за битом как ethernet дисковые команды чем изготовлять эти широченный ремни и исправлять уже в них помехи другого рода. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 14:50 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Меерз ещё говорил, что ничего быстрее последовательного считывания ячеек нет и не будет. Оно и ещё и предсказуемое весьма. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 15:20 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton Я не говорю что файлы не нужны. Они наверное остануться. Просто такой API как fopen()/fseek()/fread/fwrite/fclose() постепенно выйдет из использования. Его заменит memory-mapping. Если уже не заменил. Тут еще один важный момент теряется - целостность данных. При использовании API идет работа с копией данных, которая только по завершению пишется на диск. А тут мы все промежуточные изменения делаем в энергонезависимой памяти - любой сбой во время работы и наши данные хрен пойми в каком состоянии. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 15:29 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T mayton Я не говорю что файлы не нужны. Они наверное остануться. Просто такой API как fopen()/fseek()/fread/fwrite/fclose() постепенно выйдет из использования. Его заменит memory-mapping. Если уже не заменил. Тут еще один важный момент теряется - целостность данных. При использовании API идет работа с копией данных, которая только по завершению пишется на диск. А тут мы все промежуточные изменения делаем в энергонезависимой памяти - любой сбой во время работы и наши данные хрен пойми в каком состоянии. Не совсем так. Во многих файловых API которые работают поточно. Есть буферизация потока. И программист может форсировать запись "хвостика" условной командой flush() которая на всех уровнях (на прикладном) и на уровне ФС командует сделать фиксацию изменений на внешний носитель. Она блокирующая. Очень часто операция close() привязана к flush() или вызывает ее. Тоесть работаем с файлом как угодно но когда требуем close - требуем консистентности. Для Linux файловых API есть команда fsync которая должна гарантировать что механизмы софтверной буферизации самой файловой системы тоже сброшены. Тоесть если мы чувствуем что запахло жареным. Сервер должен уйти в ребут - то сначала делаем flush + fsync на это уйдут доли секунды и дальше спокойно ребутаемся. Обычно даже после кнопки Power на современных системниках ОС успевает все таки синкнуть буферы. С базами данных - тоже-самое только рандомные операции с блоками сначала пишуться в кольцевой журнал и в память. По сути в 2 места. А после аварии БД или ребута или после старта БД сначала смотрит в журнал и находит те записи которые еще не согласованы с датафайлами и последовательно их накатывает. И многие ФС такие как ext4, xfs тоже имеют такой журнал. Разница может быть в том что они туда пишут чисто инфу или мета-инфу по изменениям каталога файловой системы. Это по сути тоже попытка уйти от рандомного и жесткого доступа к последовательному к более мягкому с точки зрения загруженности диска. В особенности для магнитных. По поводу того как достигается синхронизм между mmap-областью памяти и диском - можно посмотреть исходник SQLite. Ониж как-то решали вопросы аварийного ресета. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 16:17 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton Мне кажется NUMA это все таки далеко не потребительский сегмент. P.S. Внезапно, среди серверов тоже есть потребительский сегмент. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 17:01 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Тут еще один важный момент теряется - целостность данных. При использовании API идет работа с копией данных, которая только по завершению пишется на диск. А тут мы все промежуточные изменения делаем в энергонезависимой памяти - любой сбой во время работы и наши данные хрен пойми в каком состоянии. Записи на диск прекрасно теряются и "данные хрен пойми в каком состоянии". Надёжная запись - предмет для отдельных усилий. Часто - весьма значительных и весьма наклАдных. Запись в энергонезависимую память гарантировать гораздо проще. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 17:06 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton Не совсем так. Во многих файловых API которые работают поточно. Есть буферизация потока. И программист может форсировать запись "хвостика" условной командой flush() которая на всех уровнях (на прикладном) и на уровне ФС командует сделать фиксацию изменений на внешний носитель. Она блокирующая. ... Мы тут тереотизируем про прямой доступ процессора к диску энергонезависимой памяти, т.е. изменение сохраняется мгновенно, следовательно синхронно, т.к. нет смысла во всяких буферизациях на разных уровнях. Я о том что прерваться работа может в любом месте, например случайно на ноль поделили, процесс вылетел, а записанное им сохранилось. mayton Тоесть если мы чувствуем что запахло жареным. Сервер должен уйти в ребут - то сначала делаем flush + fsync на это уйдут доли секунды и дальше спокойно ребутаемся. Обычно даже после кнопки Power на современных системниках ОС успевает все таки синкнуть буферы. С базами данных - тоже-самое только рандомные операции с блоками сначала пишуться в кольцевой журнал и в память. По сути в 2 места. А после аварии БД или ребута или после старта БД сначала смотрит в журнал и находит те записи которые еще не согласованы с датафайлами и последовательно их накатывает. ... Basil A. Sidorov Записи на диск прекрасно теряются и "данные хрен пойми в каком состоянии". Надёжная запись - предмет для отдельных усилий. Часто - весьма значительных и весьма наклАдных. Запись в энергонезависимую память гарантировать гораздо проще. Вот вы оба и подтвердили что прямая запись из своего приложения никому не нужна, т.к. нужна гарантированная транзакция, т.е. прямой доступ к энергонезависимой памяти удел студенческих поделок, а качественная запись должна производится проверенным ПО, типа СУБД и т.п. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 18:53 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T т.к. нужна гарантированная транзакция функция что-то считает, а потом результат пишет в память там не нужен тот уровень транзакций, который в БД нужно своевременно скидывать данные на диск ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2020, 22:06 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T процесс вылетел, а записанное им сохранилось. Сейчас усилия СУБД тратятся и на то, чтобы перенести данные из памяти на диск и на то, чтобы гарантировать восстановление при сбоях. Если убрать перенос данных из памяти на диск - задача существенно упрощается. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.09.2020, 05:09 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton ... Точно также и open может работать не с файлом а с виртуальным куском памяти который намаплен на файл. Это дает сразу коробочные механики кеширования. ... Оно уже с DOS "коробочно", утилита SMARTDRV.EXE ))) Какая разница какое API верхнего уровня. Беда то, что на нижнем уровне все равно нужно преврашать "отдельные байты" в _блоки_ _большего_ размера, иначе производительность будет ниже плинтуса (упремся в latency, а нам нужно максимально выбрать through input шины / устройства). Для передачи данных через интерфейсы, что DDR, что SATA, что Ethernet / SoE / etc, байт совершенно неподходящий размер блока, поэтому необходимость кэшей на всех уровнях никуда не девается, что RAM - аппаратный кэш процессора, что диски и файловая система и меммори маппед - програмный кэш ОС и аппаратный кэш RAID. От смены API на другое (обычный ФС на меммори маппед), ничего не меняется и не поменяется ! Может, только, программистам станет чуть удобнее. Но, как показывает мой опыт, попытка сделать что-то удобнее для программиста ==> меньше думаем и больше делаем хрени ))) IMHO ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2020, 13:34 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Может, только, программистам станет чуть удобнее. Но, как показывает мой опыт, попытка сделать что-то удобнее для программиста ==> меньше думаем и больше делаем хрени ))) IMHO Давай с этого момента станем "летопицсами". И будем просто подмечать какие изменения происходят в ядрах ОС. А уже дальше на основе этих изменений делать прогнозы как оно будет дальше. Из таковых ОС есть репка линукса. Она доступна для просмотра в git. Однако для меня ее структура слишком сложна и трудно иногда бывает понять что именно произошло по изменениям и зачем. Тоесть мне нужен гид или консультант по изменениям. Можно также читать официальные release-notes и пытаться дать им свою интерпретацию. Мне вот была интересна тема mmap. К сожалению по сорцам мне было трудно понять (видимо специфика процесса build и запутанность kernell либ) где именно malloc переходит в mmap. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2020, 13:41 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Беда то, что на нижнем уровне все равно нужно преврашать "отдельные байты" в _блоки_ _большего_ размера Ну так концепция страничной виртуальной памяти появилась в конце 50-х годов прошлого столетия. Вполне доступна пониманию и без высшего образования. Если вкратце, то "превращением в блоки бОльшего размера" испокон веков занимается одна из "ядрёных" подсистем - диспетчер виртуальной памяти. Прикладному программисту совсем не требуется "лезть" на этот уровень - для него всё работает "автомагически". А вот "энергонезависимая память", если это до сих пор так и не дошло, гарантирует сохранение своего содержимого при любом варианте физического обесточивания компьютерной системы. Адресуется это память байтами, словами, строками или страницами - вопрос десятый. Сюда не только программисту - ядру лезть не требуется: содержимое памяти переживает физическое обесточивание без дополнительных усилий со стороны любых других не только программных, но и аппаратных компонент. От операционной системы зависит только одно: возможность продолжить исполнение после восстановления питания. Тут да - сложности есть. Только это сложности из совсем другой оперы и они всё равно не касаются прикладного программиста. С кочки зрения программиста процесс просто "всегда живёт". Возможно - при "скачущем" времени. Ну так это и сейчас может быть: "усыпили" систему и процесс "встал". "Разбудили" и, опаньки - уже сутки прошли. Энергозависимая память, когда (если) она будет внедрена обеспечит, кроме прочего, "мгновенную заморозку". Которая и сейчас делается, только занимает секунды-десятки секунд. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2020, 18:29 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Лирическое вступление Ночью обновился хост Win10 и сказал: "не буду запускать твой 5й VirtualBox, от него все тормозит", узнал я это утром, когда попытался в свою виртуалку попасть. Пришлось срочно ставить свежий VirtualBox. Но суть не в этом, а в том что 4 виртуалки с дисками на HDD стартуют минут 15. Когда это происходит ночью, после очередной перезагрузки хоста - это незаметно, а то что я не могу 15 минут попасть на свое рабочее место - заметно. На хосте 32 Гб памяти, когда все загрузится, то без разницы откуда грузилось, работает кэш хоста. Решил я прикупить SSD под виртуалки и полдня изучал тему. И получилось что чудоскорости в характеристиках это маркетинг, только на потоке они бывают, например пару гигов скопировать, а при рандомном доступе все печально. Вот картинка SSD NMVe который я хочу купить, он не лучший, но близок к топовым Смотрим на нижнюю строчку, это то, что будет в реале. Погонял этот тест на имеющихся у меня SSD, там в разы все хуже по замерам, но они летают по ощущению. ИМХО Заявления то что SSD догоняет по производительности RAM это маркетинг и не более того. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2020, 19:51 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Basil A. Sidorov С кочки зрения программиста процесс просто "всегда живёт". Возможно - при "скачущем" времени. Ну так это и сейчас может быть: "усыпили" систему и процесс "встал". "Разбудили" и, опаньки - уже сутки прошли. Угу ... и регистры процессора неожиданно восстановились в том состоянии, в котором электричество отключили. Чудес не бывает, или быстро или надежно, увы (( ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2020, 20:07 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T, ты же сам писал: Dima T Только через файл подкачки. Да и не надо это, т.к. обычная память в разы быстрее самых быстрых SSD . тест удивляет, но это походу редкий режим, потому что в реальности комп таки работает быстрее ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2020, 20:16 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 Dima T, ты же сам писал: Dima T Только через файл подкачки. Да и не надо это, т.к. обычная память в разы быстрее самых быстрых SSD . тест удивляет, но это походу редкий режим, потому что в реальности комп таки работает быстрее Что тут не стыкуется с тем что я писал? Да, ошибся, не в разы, а на порядки быстрее, но суть это не меняет. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2020, 20:23 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
да я не к тому, а к тому что ты как будто второй раз сделал тоже самое открытие ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2020, 20:49 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T Чудес не бывает Получить прерывание "нет питания" и зарезервировать процессор на сотню миллисекунд, чтобы он гарантированно успел сохраниться - не проблема. Не исключено, что такое резервирование можно встроить прямо в корпус процессора или даже на кристалл. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 07:18 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T ИМХО Заявления то что SSD догоняет по производительности RAM это маркетинг и не более того. Ну и для всякого "ынтырпрайза" делают (NVMe) SSD у которых наихудшие показатели сильно превышают наилучшие для HDD. Но задорого. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 07:24 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Dima T ИМХО Заявления то что SSD догоняет по производительности RAM это маркетинг и не более того. Я тут ещё вспомнил, что в крупных БД никак не положено обходиться без SSD-контроллера с батарейкой, который стоит КИЛОбаксы. Т.е. надо хорошенько так вложиться в железку, чтоб БД нормально таки работала. И на этом фоне ECC-RAM получается вовсе и не дорогая. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 09:48 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
А на картинке в двух последних позициях. В чем разница между условиями экспериментов Q32T16 и Q1T1 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 10:56 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton А на картинке в двух последних позициях. В чем разница между условиями экспериментов Q32T16 и Q1T1 ? Q - Глубина очереди, Т - количество потоков https://crystaldisk.ru/crystaldiskmark Глубина очереди отвечает за количество запросов, которые обрабатывает диск. Чем больше этот показатель, тем больший объем сможет обработать накопитель и выше эффективность тестирования. Поток определяет количество одновременных процессов записи и чтения информации диска. Чем больше показатель потока, тем выше нагрузка на накопитель. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 12:04 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Похоже на аналог технологий NCQ/TCQ для магнитных дисков. Видимо пространственная когерентность очень важна для SSD-шек. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 12:15 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
Флэш не особо быстр на одном канале, но обеспечивает минимальные задержки доступа. Особенно - внутри устройства Если взять несколько потоков и накидать много запросов, чтобы создать очередь, то у контроллера SSD появляется много возможностей для распараллеливания. Соответственно, минимизируется и общее время рассасывания потоков очередей. Если "отправили запрос, дождались ответа и отправили следующий", то видим реальные скоростные возможности флэш-памяти. Пространственная когерентность тут вообще никаким боком. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 12:23 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
У меня была идея что индексы баз данных получат второе дыхание после внедрения SSD носителей в табличные пространства БД. Их внедрили. Но вобщем-то не с той стороны. Создатели Exadata вобщем прикрутили этот носитель как отстойник для вытесняемых блоков буферного кеша. А если делать такой мультипоточный поиск чего-то внутри индекса.... мдя. Надо сильно пересмотреть алгоритмы. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 12:44 |
|
SSD в кач-ве памяти
|
|||
---|---|---|---|
#18+
mayton У меня была идея что индексы баз данных получат второе дыхание после внедрения SSD носителей в табличные пространства БД. Дорого, вот и не взлетает. Технически-то всё готово. В узкой нише даже применяется. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2020, 14:19 |
|
|
start [/forum/topic.php?all=1&fid=25&tid=1480994]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
39ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
129ms |
get tp. blocked users: |
1ms |
others: | 297ms |
total: | 512ms |
0 / 0 |