|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Это тот самый толстый gzip архив который периодически среда разработки качает из Central Index https://repo.maven.apache.org/maven2/.index/ Есть ли там связка ClassName=>artifact name ? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 13:24 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Сам файл представляет собой архив размером 640Мб если качать целиком без инкременталов. Будучи распакованным - 4.5Гб. Внутри - сложно сказать. Не текстовый. По крайней мере заголовок. Ближе к середине идут текстовые данные где по виду можно угадать названия артифактов и зависимостей. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 13:35 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Какая информация - видно из названия. Список артефактов в хранилище. Загружать его для просмотра глазами бессмысленно. Он используется программно. Конкретно, есть смысл установить сервер Nexus OSS. В нём будут хранилища Maven, в том числе типа proxy (посредник, это ссылка на внешнее хранилище, например на Maven Central). При обращении к этому хранилищу (proxy) из проекта Maven, Nexus будет сначала искать в локальном кеше, а если там не найдёт, то будет искать в хранилище, для которого оно proxy, тогда использует этот индекс. Связка имя артефакта-имя класса будет только если тот, кто поместил артефакт в хранилище, задал такую структуру. Но обычно есть связка имя артефакта-jar файл, поэтому по имени артефакта загружается весь jar файл, в котором может быть больше одного класса. В общем, уcтановить Nexus OSS, получить с его сайта документацию и осваивать. Nexus OSS бывает версий 2 и 3. Хотя версия 2 всё ещё часто применяется, но можно не брать пример с других и использовать последнюю версию 3. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 14:25 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Нашел софт который умеет парсить и вроде-бы индексировать это как текст. https://github.com/apache/maven-indexer Добавил туда свои логгеры чтоб посмотреть что там лежит. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 15:58 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Добавил такую штуку. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
Здесь Field - это Люсиновский документ. И мне было интересно какие поля идут в индекс. Вот фрагмент лога. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 16:52 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Немножко перемотал вперед. Характер инфы стал побогаче. Появились поля 'Export-Package' e.t.c. Полей много - но не бесконечно. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 17:11 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Да. Как симулировать запуск консольного индексатора. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22.
Я использовал ---unpack и указал --index там где лежит этот архив. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 17:33 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
mayton, не знаю. Не пользуюсь этим ввиду ненадобности, а делаю как описал - в собственном Nexus-е задаю proxy-хранилища для хранилищ в интернете. В Nexus достаточно легко найти интересующие артефакты. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 17:38 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Я еще не искал по твоей ссылке. Но мне чтобы поискать связи между пакетами как-то лень устанавливать сервер Nexus OSS. Тоесть ... я-бы предпочел более оффлайновый вариант. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 17:54 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Хм… да это самый устойчивый к изменениям код. Что-то где-то поменял - apache-rat-plugin заругался на лицензии. Выставил свойство numUnapprovedLicenses. Потом - каскадом maven-enforcer-plugin ругается на версию JDK... Фикшу. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.05.2019, 18:51 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Вобщем пофиксил. Просто откатил к Java-1.7. Компиллятор 11 но генерит под семерку. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.05.2019, 11:37 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Вобщем этот индекс хранит виртуальную табличку с такими названиями полей. Это собрано со 100% докуменов индекса. Здесь count - это количество раз которое поле встречалось во всем индексе. Некоторые поля - по 1 разу. Некоторые - прибл. 10 миллионов. Я думаю это и есть количество записей в этом индексе. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
... |
|||
:
Нравится:
Не нравится:
|
|||
22.05.2019, 12:02 |
|
Какая информация хранится в maven-index?
|
|||
---|---|---|---|
#18+
Вобщем получилась такая табличка в формате (H2 dbms) Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
В виде исходных данных (CSV) занимает порядка 4.8 Гб. В формате сегмента базы H2 примерно столько-же. В архиве (gzip) - 570Мб. В формате базы ее хранить невыгодно. Много длинных дублирующихся строк. Надо делать нормализацию или transparent dbms compression если есть возможность. Интересующей информации я для себя там не нашел. Названий классов нету. Но сам архив я могу опубликовать где-нибудь если кому интересно. Вобщем топик можно закрыть. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.05.2019, 17:57 |
|
|
start [/forum/moderation_log.php?user_name=%D0%98%D0%BC%D0%B0%D0%BD%D1%83%D0%B8%D0%BB]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
137ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 1347ms |
total: | 1605ms |
0 / 0 |