|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Сцепить все файлы через copy + рядом положить сериализованный HashMap из имя_файла - start_pos, length Написать на java быстрее, чем тут в форуме обсуждение идет. PetroNotC Sharp ... Я не понял что тут готовое искать? Там писать нечего. +100500 ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 02:59 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp вадя, и для zip наверно нужен код бэка а не клиента JS. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 09:52 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, авторЭто конверт, для которого может быть много потоков потоковое видео это в другую степь. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 12:06 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mayton, авторЭто конверт, для которого может быть много потоков потоковое видео это в другую степь. Думаешь не взлетит? Или видео - это другая магия? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 14:15 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, Думаю оверхед. Даже если взлетит. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 14:18 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Ониж пишут https://matroska.org/technical/whatis/index.html - It is NOT a video or audio compression format (video codec) - It is an envelope for which there can be many audio, video and subtitles streams, allowing the user to store a complete movie or CD in a single file. И вот что мне особо интересно https://matroska.org/technical/whatis/index.html Fast seeking in the file .... Selectable subtitle/audio/video streams Нужно попробовать. POC написать. И понять есть ли там понятие хедера со смещениями. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 14:24 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton Нужно попробовать. POC написать. И понять есть ли там понятие хедера со смещениями. Структура gzip изложена в RFC1952 . Совсем небольшой документ. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 20:04 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Basil A. Sidorov mayton Нужно попробовать. POC написать. И понять есть ли там понятие хедера со смещениями. Структура gzip изложена в RFC1952 . Совсем небольшой документ. Не подходит. Я не смогу используя Range-request изьять из серединки такого бутерброда нужный мне файл. Вроде-бы в теме топика участники это прояснили. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 20:13 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Из упаковочек. Есть такая штука https://kaitai.io/ Там на неком кросс-языковом языке описывают разные спеки. И среди них я нашел описание vfat, ext2. И либы на разных языках (C++/Java/C#) https://formats.kaitai.io/vfat/index.html https://formats.kaitai.io/ext2/index.html Чем они удобны? Они - простые как дерево. И в них еще не реализован т.н. журнал операций который мне нафик не впал. Но главное что есть некий файлоподобный API. Можно ли из них извлечь Range-атрибуты конкретного файла - ХЗ. Надо проверить. Но из того что я знаю по файловым системам - они при монтировании никогда не сканируются полностью. И структура оглавления у них обычно имеет какую-то фиксированную точку входа. Тоесть есть надежда что я вычитаю туловище моего документа через 3 HTTP-GET. 1) Прочитаем структуру корневого фолдера 2) Прочитаем табличку блочков 3) Прочитаем туловище файла. Возможно тут туловище будет порезано на кусочки. Но .. это уже как бог даст. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 20:20 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Капец у них сборщик. Ошибся с версией JDK. Считает что надо +1.6 а 11 не видит. Ладно пофиксил. Собрал. Еще больше капец там всё низкоуровневое. Что-то наподобие выхлопа antlr. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 20:50 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Alexander A. Sak Код: sql 1. 2. 3. 4. 5.
Да верно. Я об этом и думал. Только у меня index и файл это одно целое. И я думал о том что индекс должен быть типизированным набором записей. Типа Код: java 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 21:17 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, чем не подходит zip + java.nio.file.FileSystem? типа такого: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54.
... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 22:28 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Victor Nevsky, да не в этом проблема. Я могу изготовить архивы и zip и rar и многие другие через доступные API. У меня - исследовательский вопрос. Какие из них поддержат Range - запросы когда я их положу в Amazon S3 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 22:42 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, зачем range? Всё равно, range, будете определять по имени файла, а только потом использовать данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 23:00 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Victor Nevsky mayton, зачем range? Всё равно, range, будете определять по имени файла, а только потом использовать данные. Ну вот у меня есть твой *.zip архив. В нем 1000 файлов документов по 10 мегабайт. Итого 1000 * 10 = 10 гигабайт. Лежит на s3 bucket. Доступен по http. И мне надо из него извлечь скажем 300-й и 600-й файл. Как мне это сделать с твоим архивом? Этих операций - будет много. Извлечений. Это - основной функционал системы. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 23:56 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Я чувствую что я где-то ошибся. Неужели моя задача так сложна в постановке? Пожалуй я попрошу модератора ее закрыть. Буду думать сам. Всем спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 00:08 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, 1. Если zip то надо знать почему там он и зачем. Прдположим у тебя там не хватает места. Что странно. Тогда выдаешь наружу как из сервлета. Он наружу выдает файлы по MIME. А внутри что хочешь и как зочешь читай. В чем проблема? Постановка твоя хромает. Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 09:22 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, Если основной функционал то ищи по СЭД - системы электронного документооборота. Там хранилище документов. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 09:24 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton Ну вот у меня есть твой *.zip архив. В нем 1000 файлов документов по 10 мегабайт. Итого 1000 * 10 = 10 гигабайт. Лежит на s3 bucket. Доступен по http. И мне надо из него извлечь скажем 300-й и 600-й файл. Как мне это сделать с твоим архивом? пока я вижу только одну проблему - как определить длину этого "каталога"в зипе (но только потому, что не знаю структуру зипа). ещё раз - эта реализация есть на js и работает быстро, весь зип читать не надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 10:57 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
Можешь дать пример этого юзкейса? Я в js не знаток поэтому тамошних либ не знаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 13:50 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton, Я давал в моей теме, где ты просил js. Про мой вопрос к ваде. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 14:01 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton Я в js не знаток поэтому тамошних либ не знаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 14:32 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
mayton Не подходит. Я не смогу используя Range-request изьять из серединки такого бутерброда нужный мне файл. Цепочка бутербродов "заголовок, данные, трейлер" позволяет построить индекс, а индекс позволяет извлечь любой бутерброд элемент цепочки. В zip-архиве будут отличаться детали, но не принцип. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 18:53 |
|
Бинарная упаковочка.
|
|||
---|---|---|---|
#18+
вадя mayton Я в js не знаток поэтому тамошних либ не знаю. Увы нет. Я не смогу это использовать пока. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.01.2020, 21:59 |
|
|
start [/forum/topic.php?fid=59&msg=39910846&tid=2120960]: |
0ms |
get settings: |
4ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
40ms |
get topic data: |
2ms |
get forum data: |
0ms |
get page messages: |
539ms |
get tp. blocked users: |
0ms |
others: | 360ms |
total: | 953ms |
0 / 0 |