Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Java [игнор отключен] [закрыт для гостей] / Загрузка в базу / 13 сообщений из 13, страница 1 из 1
13.09.2016, 18:22
    #39308637
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Загружаю файл в БД

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
@Stateless
public class CatalogueFacadeBean implements ICatalogueService {

    @Override
    public Map<String, Object> uploadCatalogue(Map<String, Object> params) {
...
                    iNsiSprkpvb011.deleteAll();
                    List<NsiSprkpvb011> entityRows = formatListEntiryRows(csvrecords, result, NsiSprkpvb011.class);
                    iNsiSprkpvb011.bulkSave(entityRows);
                    break;
...
        return result;
    }
}

    @Override
    public void deleteAll() {
        String deleteQuery = "DELETE FROM ${tableName} t";
        String tableName = type.getSimpleName();

        Entity entityAnnotation = type.getAnnotation(Entity.class);
        if (entityAnnotation.name() != null && !entityAnnotation.name().isEmpty())
            tableName = entityAnnotation.name();

        Map<String, String> values = new HashMap<String, String>();
        values.put("tableName", tableName);
        StrSubstitutor sub = new StrSubstitutor(values);
        Query query = em.createQuery(sub.replace(deleteQuery));
        query.executeUpdate();
    }

public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
  final List<T> savedEntities = new ArrayList<T>(entities.size());
  int i = 0;
  for (T t : entities) {
    savedEntities.add(persistOrMerge(t));
    i++;
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }
  }
  return savedEntities;
}

private <T extends MyClass> T persistOrMerge(T t) {
  if (t.getId() == null) {
    entityManager.persist(t);
    return t;
  } else {
    return entityManager.merge(t);
  }
}




Все загружается отлично, но через раз
То загрузили, все ок, гружу повторно, таблица чистая, гружу опять, все загружено

Почему это возникает?
Предположение, что при очищении таблицы не было коммита и и далее при вставке работает с удаленными объектами?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 18:36
    #39308641
Blazkowicz
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
-=Koba=-,

Что в этом коде "гружу" и какая именно таблица чистая? В БД или UI?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 19:33
    #39308654
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Blazkowicz-=Koba=-,

Что в этом коде "гружу" и какая именно таблица чистая? В БД или UI?

Код: java
1.
2.
3.
                    iNsiSprkpvb011.deleteAll();
                    List<NsiSprkpvb011> entityRows = formatListEntiryRows(csvrecords, result, NsiSprkpvb011.class);
                    iNsiSprkpvb011.bulkSave(entityRows);




1 Очищаем всю таблицу в БД
2 Получаем список entity
3 Вставляем их
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 21:41
    #39308697
ali_tash
ali_tash
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
А где сам код сохранения в БД ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 22:43
    #39308705
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Так очищаю всю таблицу

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
    @Override
    public void deleteAll() {
        String deleteQuery = "DELETE FROM ${tableName} t";
        String tableName = type.getSimpleName();

        Entity entityAnnotation = type.getAnnotation(Entity.class);
        if (entityAnnotation.name() != null && !entityAnnotation.name().isEmpty())
            tableName = entityAnnotation.name();

        Map<String, String> values = new HashMap<String, String>();
        values.put("tableName", tableName);
        StrSubstitutor sub = new StrSubstitutor(values);
        Query query = em.createQuery(sub.replace(deleteQuery));
        query.executeUpdate();
    }
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 22:44
    #39308707
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Так вставляю List entity

http://frightanic.com/software-development/jpa-batch-inserts/

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
@PersistenceContext
private EntityManager entityManager;
 
@Value("${hibernate.jdbc.batch_size}")
private int batchSize;
 
public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
  final List<T> savedEntities = new ArrayList<T>(entities.size());
  int i = 0;
  for (T t : entities) {
    savedEntities.add(persistOrMerge(t));
    i++;
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }
  }
  return savedEntities;
}
 
private <T extends MyClass> T persistOrMerge(T t) {
  if (t.getId() == null) {
    entityManager.persist(t);
    return t;
  } else {
    return entityManager.merge(t);
  }
}
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.09.2016, 22:45
    #39308708
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
В итоге у меня вставляются через раз
1) Данные вставились в БД
2) Данных нет
3) Данные вставились в БД
4) итд
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.09.2016, 00:47
    #39308729
Паша01
Паша01
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
А в какой момент проверяешь, что записалось в БД или нет? flush() делаешь?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.09.2016, 08:55
    #39308798
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Паша01А в какой момент проверяешь, что записалось в БД или нет? flush() делаешь?

Код: java
1.
2.
3.
4.
5.
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }



Вот fluash идет
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.09.2016, 09:53
    #39308828
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
1 При удалении всех записей из таблицы и вставке новых, всегда выполняется
Код: java
1.
return em.merge(t); метода bulkSave()



2 Если закомментировать удаление, то записи не дублируются в таблице идет сравнение id


Мое предположение
Я удаляю записи, вставляю новые, но так как id совпадают, то они мержаться с entity? которые помечены на удаление
Далее при коммите происходит удаление. Правильно ли мое предположение?

Удаление записей
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
    @Override
    public void deleteAll() {
        String deleteQuery = "DELETE FROM ${tableName} t";
        String tableName = type.getSimpleName();

        Entity entityAnnotation = type.getAnnotation(Entity.class);
        if (entityAnnotation.name() != null && !entityAnnotation.name().isEmpty())
            tableName = entityAnnotation.name();

        Map<String, String> values = new HashMap<String, String>();
        values.put("tableName", tableName);
        StrSubstitutor sub = new StrSubstitutor(values);
        Query query = em.createQuery(sub.replace(deleteQuery));
        query.executeUpdate();
    }



Вставка записей
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
    @Override
    public <T> Collection<T> bulkSave(Collection<T> entities) {
        String fieldID = getFieldID();
        Method methodID = getMethodID();
        if (fieldID != null || methodID != null) {
            final List<T> savedEntities = new ArrayList<T>(entities.size());
            int i = 0;
            for (T t : entities) {
                if (!fieldID.isEmpty())
                    savedEntities.add(persistOrMergeField(t, fieldID));
                else if (methodID != null)
                    savedEntities.add(persistOrMergeMethod(t, methodID));
                i++;
                if (i % batchSize == 0) {
                    em.flush();
                    em.clear();
                }
            }
            return savedEntities;
        } else
            return Collections.EMPTY_LIST;
    }

    private <T> T persistOrMergeField(T t, String fieldID) {
        try {
            Expression expr = new Expression(t, "get" + fieldID, new Object[] {});
            expr.execute();
            if (expr.getValue() == null) {
                em.persist(t);
                return t;
            } else
                return em.merge(t);
        } catch (Exception e) {
            LoggerUtil.error(e.getMessage());
            return null;
        }
    }

    private <T> T persistOrMergeMethod(T t, Method methodID) {
        try {
            if (methodID.invoke(t) == null) {
                em.persist(t);
                return t;
            } else
                return em.merge(t);
        } catch (IllegalAccessException e) {
            LoggerUtil.error(e.getMessage());
            return null;
        } catch (InvocationTargetException e) {
            LoggerUtil.error(e.getMessage());
            return null;
        }
    }
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.09.2016, 00:07
    #39309358
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
-=Koba=-Все загружается отлично, но через раз
То загрузили, все ок, гружу повторно, таблица чистая, гружу опять, все загружено

Почему это возникает?
Предположение, что при очищении таблицы не было коммита и и далее при вставке работает с удаленными объектами?
Странный четный-нечетный порядок вставок говорит о том что
ты скорее всего не учитываешь какое-то кеширование и уровни изоляции.

Вообще если быть честным то топик не про базу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.09.2016, 09:54
    #39309466
ivanra
ivanra
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
Часто причина подобных глюков в методе performExecutions . SQL выполняется не синхронно с операторами jpql, а в конце сессии.
Вроде даже видео на русском по этому поводу было.
В данном случае не помешает сразу после удаления вызвать flush
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.09.2016, 14:39
    #39309706
-=Koba=-
-=Koba=-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Загрузка в базу
ivanraЧасто причина подобных глюков в методе performExecutions . SQL выполняется не синхронно с операторами jpql, а в конце сессии.
Вроде даже видео на русском по этому поводу было.
В данном случае не помешает сразу после удаления вызвать flush

Да наверное в этом дело и было
Когда разбил удаление и вставку на отдельные транзакций стало все работать нормально
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Java [игнор отключен] [закрыт для гостей] / Загрузка в базу / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 419ms
Закрыть
start [/forum/topic.php?fid=59&mobile=1&tid=2123717]:
 0ms
get settings:
 9ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 140ms
get topic data:
 7ms
get forum data:
 4ms
get page messages:
 38ms
get tp. blocked users:
 1ms
others: 198ms
total:  419ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]