SELECT запрос с CLOB полями с сортировкой по времени / Oracle

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Oracle [игнор отключен] [закрыт для гостей] / SELECT запрос с CLOB полями с сортировкой по времени

24 сообщений из 49, страница 2 из 2

все

SELECT запрос с CLOB полями с сортировкой по времени

#39737693

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

Вернее ошиба которую ты привел возникает когда ты выполняешь INSERT или при выполнении всего задания?

SY.

...

Рейтинг:

0 / 0

23.11.2018, 18:40

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737697

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

Не совсем понял о каких INSERTах идет речь? Я выполняю SELECT запросы, как все устроено на стороне сервера я не могу сказать. Знаю только названия полей и их тип.

Упс, Почему-то казалось у тебя INSERT SELECT. SELECT проходит если убрать ORDER BY?

SY.

...

Рейтинг:

0 / 0

23.11.2018, 18:43

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737700

kroper34

Гость

SY,

Что интересно, да, SELECT без ORDER BY работает, но при этом тоже с выводом ошибки:
java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: ORA-01652: unable to extend temp segment by 128 in tablespace TEMP ORA-06512: at "WMSYS.WM_CONCAT_IMPL", line 31

...

Рейтинг:

0 / 0

23.11.2018, 18:47

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737702

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

Что интересно, да, SELECT без ORDER BY работает, но при этом тоже с выводом ошибки:
java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: ORA-01652: unable to extend temp segment by 128 in tablespace TEMP ORA-06512: at "WMSYS.WM_CONCAT_IMPL", line 31

Еще раз, в SELECTe указаны поля или есть вызовы функций? Приведи структуру таблицы "IWTM"."ARC_VIEW_OBJECTS".

SY.

...

Рейтинг:

0 / 0

23.11.2018, 18:50

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737706

kroper34

Гость

SY,

Что ты подразумеваешь под структурой? Все что я знаю о таблице: названия полей, их описание и тип данных.
Представь что SELECT состоит из 4 полей:
object_id - Number(20) - идентификатор события
monitorcode - Varchar2(4000) - Тип события
insert_date - timestamp - Дата вставки события
categories - clob - Категории события

Вот нужно мне сделать SELECT из этих полей с сортировкой по insert_date. Делаю такой запрос:

Код: plsql

1.
2.
3.
4.
5.
6.
7.

SELECT object_id,
monitorcode,
insert_date,
categories
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > '2018-11-21 00:00:00.0'
ORDER BY INSERT_DATE ASC

Но запрос не отрабатывает. Как только убираю поле clob, отрабатывает. Нужно чтобы отработало вместе с clob полем.

...

Рейтинг:

0 / 0

23.11.2018, 19:03

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737709

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

Выполни без ORDER BY:

Код: plsql

1.
2.
3.
4.
5.
6.
7.

SELECT object_id,
monitorcode,
insert_date,
categories
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > '2018-11-21 00:00:00.0'
/

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:06

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737711

kroper34

Гость

SY,

java.sql.SQLDataException: ORA-01861: literal does not match format string[SRC HTML][/SRC]

...

Рейтинг:

0 / 0

23.11.2018, 19:09

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737714

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

java.sql.SQLDataException: ORA-01861: literal does not match format string

Ну ведь сказали уже - используй TO_TIMESTAMP:

Код: plsql

1.
2.
3.
4.
5.
6.

SELECT object_id,
monitorcode,
insert_date,
categories
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:11

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737715

kroper34

Гость

SY,

Очень долго, но выполнился. Минуты 2-3 ждал. Для сравнения запрос из 25 полей без фильтров и сортировок ~2-3 сек.

...

Рейтинг:

0 / 0

23.11.2018, 19:18

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737718

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

Очень долго, но выполнился. Минуты 2-3 ждал. Для сравнения запрос из 25 полей без фильтров и сортировок ~2-3 сек.

Сколько строк возвращает? Выполни:

Код: plsql

1.
2.
3.

SELECT count(*)
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')

и покажи результат. Затем выполни:

Код: plsql

1.
2.
3.
4.
5.
6.

SELECT object_id,
monitorcode,
insert_date --,
--categories
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')

и огласи время выполнeния.

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:23

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737719

kroper34

Гость

SY,

193639

Второй запрос возвращает ошибку
ORA-00923: FROM keyword not found where expected

...

Рейтинг:

0 / 0

23.11.2018, 19:28

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737720

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34,

Код: plsql

1.
2.
3.
4.
5.

SELECT object_id,
monitorcode,
insert_date
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:30

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737722

kroper34

Гость

SY,

Выполнялся достаточно долго, около 40 сек

...

Рейтинг:

0 / 0

23.11.2018, 19:32

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737723

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

Выполнялся достаточно долго, около 40 сек

А теперь:

Код: plsql

1.
2.
3.
4.
5.
6.

SELECT object_id,
monitorcode,
insert_date
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')
ORDER BY INSERT_DATE ASC

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:34

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737724

kroper34

Гость

SY,

Для примера без проблем работает следующий запрос к другой таблице этой же БД, в SELECT присутствует одно поле типа CLOB.

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

SELECT AUDIT_LOG_ID AS Audit_ID,
         CHANGE_DATE AS DateTime,
         USER_LOGIN AS UserLogin,
         USER_FULLNAME AS UserName,
         USER_EMAIL AS Email,
         OPERATION AS Operation,
         ENTITY_TYPE AS Entity_Type,
         ENTITY_DISPLAY_NAME AS Entity_Name,
         ENTITY_ID AS Entity_ID,
         PROPERTY_CHANGES AS Property_Changes
FROM "IWTM"."ARC_VIEW_AUDIT_LOG"
WHERE AUDIT_LOG_ID > ?
ORDER BY AUDIT_LOG_ID ASC

...

Рейтинг:

0 / 0

23.11.2018, 19:35

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737726

kroper34

Гость

SY,

+/- так же, возможно немного дольше, секунд 45.

...

Рейтинг:

0 / 0

23.11.2018, 19:38

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737731

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34SY,

+/- так же, возможно немного дольше, секунд 45.

T.e. без CLOB 40 sec без ORDER BY и 45 c (хотя данные уже в buffer cache). C CLOBом без ORDER BY 2 минуты - минутa 20 сек. прочесть 193,639 CLOBов а тут завиит от размера CLOBов, кстати какой?). Теперь:

Код: plsql

1.
2.
3.
4.
5.
6.
7.

SELECT object_id,
monitorcode,
categories,
insert_date
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff')
ORDER BY INSERT_DATE ASC

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:45

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737733

kroper34

Гость

SY,

По размерам CLOB, к сожалению, инфы дать не могу, но подозреваю, что бывают очень большие. Последний запрос не отрабатывает, возвращает ошибку:

Код: html

ORA-01652: unable to extend temp segment by 128 in tablespace TEMP ORA-06512: at "WMSYS.WM_CONCAT_IMPL", line 31

Так же попробовал такой фильтр, работает в разы быстрее, но с сортировкой опять тухло:

Код: html

WHERE INSERT_DATE > CAST(TO_TIMESTAMP(?,'yyyy-mm-dd hh24:mi:ss.ff') AS DATE)

...

Рейтинг:

0 / 0

23.11.2018, 19:51

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737736

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

kroper34но с сортировкой опять тухло:

А так?

Код: plsql

1.
2.
3.
4.
5.
6.
7.

SELECT object_id,
monitorcode,
categories,
insert_date
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > CAST(TO_TIMESTAMP('2018-11-21 00:00:00.0','yyyy-mm-dd hh24:mi:ss.ff') AS DATE)
ORDER BY ROW_NUMBER() OVER(ORDER BY INSERT_DATE ASC)

SY.

...

Рейтинг:

0 / 0

23.11.2018, 19:58

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737737

Участник

Откуда: Middlebury, CT USA

Сообщения: 10 588

Рейтинг: 0 / 0

А вообще, я бы время на сортиовку и не тратил. Тебе нужна max INSERT_DATE последнего SELECTa, так и вычисляй ее в java сравнивая MAX_INSERT_DATE c INSERT_DATE прочитанной строки.

SY.

...

Рейтинг:

0 / 0

23.11.2018, 20:04

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39737739

kroper34

Гость

SY,

Спасибо большое за помощь! Завтра буду ещё пробовать, если что-то получится, отпишусь.

...

Рейтинг:

0 / 0

23.11.2018, 20:23

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39740128

kroper34

Гость

SY,

В итоге уже 3 дня стабильно отрабатывает следующий запрос:

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.

SELECT INSERT_DATE,
         dbms_lob.substr(ATTACHMENTS, 400, 1) AS ATTACHMENTS,
         CAPTURE_SERVER_HOSTNAME,
         CAPTURE_SERVER_IP,
         dbms_lob.substr(CATEGORIES, 400, 1) AS CATEGORIES,
         CAPTURE_DATE,
         DEVICE,
         FILEPATH,
         dbms_lob.substr(FINGERPRINTS, 400, 1) AS FINGERPRINTS,
         MONITORCODE,
         OBJECT_ID,
         dbms_lob.substr(PERIMETERSIN, 400, 1) AS PERIMETERSIN,
         dbms_lob.substr(PERIMETERSOUT, 400, 1) AS PERIMETERSOUT,
         dbms_lob.substr(POLICIES, 400, 1) AS POLICIES,
         dbms_lob.substr(PROTECTEDDOCUMENTS, 400, 1) AS PROTECTEDDOCUMENTS,
         PROTOCOL,
         dbms_lob.substr(RECIPIENTSCONTACTS, 400, 1) AS RECIPIENTSCONTACTS,
         dbms_lob.substr(RECIPIENTSDOMAINACCOUNTNAME, 400, 1) AS RECIPIENTSDOMAINACCOUNTNAME,
         dbms_lob.substr(RECIPIENTSFULLNAME, 400, 1) AS RECIPIENTSFULLNAME,
         dbms_lob.substr(SENDERMACHINEDOMAINNAME, 400, 1) AS SENDERMACHINEDOMAINNAME,
         dbms_lob.substr(SENDERMACHINEIP, 400, 1) AS SENDERMACHINEIP,
         dbms_lob.substr(SENDERSCONTACTS, 400, 1) AS SENDERSCONTACTS,
         dbms_lob.substr(SENDERSDOMAINACCOUNTNAME, 400, 1) AS SENDERSDOMAINACCOUNTNAME,
         dbms_lob.substr(SENDERSFULLNAME, 400, 1) AS SENDERSFULLNAME,
         USERDECISION,
         VERDICT,
         VIOLATION_LEVEL
FROM "IWTM"."ARC_VIEW_OBJECTS"
WHERE INSERT_DATE > ?
ORDER BY INSERT_DATE ASC

Опытным путем выявил данную длину при преобразовании CLOB полей и параметры запуска шедулера (каждые 20 мин). В итоге подозреваю, что попадались поля с крайней большим размером, и либо не хватало ОЗУ на клиенте, либо присутствуют ограничения по размеру поля на стороне клиентского ПО.

...

Рейтинг:

0 / 0

28.11.2018, 22:02

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39740323

env

Участник

Откуда: Россия, Москва

Сообщения: 6 692

Рейтинг: 0 / 0

kroper34,

Дай-ка угадаю, а читаешь ты их в java.lang.String, вместо явной обработки LOB?

...

Рейтинг:

0 / 0

29.11.2018, 12:59

| Ответить | Цитировать | Написать

SELECT запрос с CLOB полями с сортировкой по времени

#39740324

env

Участник

Откуда: Россия, Москва

Сообщения: 6 692

Рейтинг: 0 / 0

kroper34,

И ещё вопрос: "IWTM"."ARC_VIEW_OBJECTS" - вьюха с десятком join внутри?

...

Рейтинг:

0 / 0

29.11.2018, 13:00

| Ответить | Цитировать | Написать

24 сообщений из 49, страница 2 из 2

все

Форумы / Oracle [игнор отключен] [закрыт для гостей] / SELECT запрос с CLOB полями с сортировкой по времени

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=52&msg=39737706&tid=1883108]:	0ms
get settings:	8ms
get forum list:	14ms
check forum access:	2ms
check topic access:	2ms
track hit:	147ms
get topic data:	9ms
get forum data:	2ms
get page messages:	48ms
get tp. blocked users:	1ms
others:	239ms

total:	472ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы