| 
 | 
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Это тот самый толстый gzip архив который периодически среда разработки качает из Central Index https://repo.maven.apache.org/maven2/.index/ Есть ли там связка ClassName=>artifact name ? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 13:24 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Сам файл представляет собой архив размером 640Мб если качать целиком без инкременталов. Будучи распакованным - 4.5Гб. Внутри - сложно сказать. Не текстовый. По крайней мере заголовок. Ближе к середине идут текстовые данные где по виду можно угадать названия артифактов и зависимостей. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 13:35 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Какая информация - видно из названия. Список артефактов в хранилище. Загружать его для просмотра глазами бессмысленно. Он используется программно. Конкретно, есть смысл установить сервер Nexus OSS. В нём будут хранилища Maven, в том числе типа proxy (посредник, это ссылка на внешнее хранилище, например на Maven Central). При обращении к этому хранилищу (proxy) из проекта Maven, Nexus будет сначала искать в локальном кеше, а если там не найдёт, то будет искать в хранилище, для которого оно proxy, тогда использует этот индекс.   Связка имя артефакта-имя класса будет только если тот, кто поместил артефакт в хранилище, задал такую структуру. Но обычно есть связка имя артефакта-jar файл, поэтому по имени артефакта загружается весь jar файл, в котором может быть больше одного класса. В общем, уcтановить Nexus OSS, получить с его сайта документацию и осваивать. Nexus OSS бывает версий 2 и 3. Хотя версия 2 всё ещё часто применяется, но можно не брать пример с других и использовать последнюю версию 3. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 14:25 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Нашел софт который умеет парсить и вроде-бы индексировать это как текст. https://github.com/apache/maven-indexer Добавил туда свои логгеры чтоб посмотреть что там лежит. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 15:58 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Добавил такую штуку. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. Здесь Field - это Люсиновский документ. И мне было интересно какие поля идут в индекс. Вот фрагмент лога. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 16:52 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Немножко перемотал вперед. Характер инфы стал побогаче. Появились поля 'Export-Package' e.t.c. Полей много - но не бесконечно. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 17:11 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Да. Как симулировать запуск консольного индексатора. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. Я использовал ---unpack и указал --index там где лежит этот архив. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 17:33 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  mayton, не знаю. Не пользуюсь этим ввиду ненадобности, а делаю как описал - в собственном Nexus-е задаю proxy-хранилища для хранилищ в интернете. В Nexus достаточно легко найти интересующие артефакты. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 17:38 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Я еще не искал по твоей ссылке. Но мне чтобы поискать связи между пакетами как-то лень устанавливать сервер Nexus OSS. Тоесть ... я-бы предпочел более оффлайновый вариант. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 17:54 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Хм… да это самый устойчивый к изменениям код. Что-то где-то поменял - apache-rat-plugin заругался на лицензии. Выставил свойство numUnapprovedLicenses. Потом - каскадом maven-enforcer-plugin ругается на версию JDK... Фикшу. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.05.2019, 18:51 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Вобщем пофиксил. Просто откатил к Java-1.7. Компиллятор 11 но генерит под семерку. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 22.05.2019, 11:37 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Вобщем этот индекс хранит виртуальную табличку с такими названиями полей. Это собрано со 100% докуменов индекса. Здесь count - это количество раз которое поле встречалось во всем индексе. Некоторые поля - по 1 разу. Некоторые - прибл. 10 миллионов. Я думаю это и есть количество записей в этом индексе. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 22.05.2019, 12:02 | 
  
  
  
   | 
||
| 
 
Какая информация хранится в maven-index? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Вобщем получилась такая табличка в формате (H2 dbms)  Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. В виде исходных данных (CSV) занимает порядка 4.8 Гб. В формате сегмента базы H2 примерно столько-же. В архиве (gzip) - 570Мб. В формате базы ее хранить невыгодно. Много длинных дублирующихся строк. Надо делать нормализацию или transparent dbms compression если есть возможность. Интересующей информации я для себя там не нашел. Названий классов нету. Но сам архив я могу опубликовать где-нибудь если кому интересно. Вобщем топик можно закрыть. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 22.05.2019, 17:57 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=59&tid=2121299]:  | 
    0ms | 
get settings:  | 
    8ms | 
get forum list:  | 
    13ms | 
check forum access:  | 
    3ms | 
check topic access:  | 
    3ms | 
track hit:  | 
    33ms | 
get topic data:  | 
    11ms | 
get forum data:  | 
    2ms | 
get page messages:  | 
    52ms | 
get tp. blocked users:  | 
    2ms | 
| others: | 14ms | 
| total: | 141ms | 

| 0 / 0 | 

На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.