|
|
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, 1 сейчас коннект в режиме ASCII. ПРобовал 'UTF8' и 'WIN1251' 2 триггер и генератор удалил 3 тип поля ID сделал обычным Integer однофигственно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2014, 18:36:00 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Капец. Дурка какая-то. Удалил индексы - заработало Вернул триггер и генератор - работает Вернул тип ИД в бигинт - работает. Из коннекта убрал чарсет и диалект - работает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2014, 18:52:06 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160 Код: python 1. s6791602014-03-19T16:59:24.7350 (664:01F5D19C) ATTACH_DATABASE D:\pgr.FDBТак pg n или pr g ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2014, 19:04:48 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Всё господа, благодарствую кто отозвался! ЗажилО Каким-то боком мешали индексы. Удалил их и всё шпиливили Рабочий вариант - без чарсета в коннекте, без диалекта, без декодирования строк и выковыривания дат. Не во всем "кошерно", но фунциклирует Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 448 162 записи обрабатывало 04:04:32, скорость ~30,5 зап/сек ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 12:00:52 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160448 162 записи обрабатывало 04:04:32, скорость ~30,5 зап/сек А чего так медленно? Насколько часто возникает такая задача? Если раз в месяц/квартал то заливка из CSV может быть сильно шустре. Это при условии, что тормозит не в FB (триггеры/железо...). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 13:40:05 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
afgmА чего так медленно? Это же питон. Читающий из экселя. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 13:51:52 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160Рабочий вариант - без чарсета в коннекте это нерабочий вариант. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 14:24:55 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovafgmА чего так медленно? Это же питон. Читающий из экселя. Ну я подозреваю что проблема именно в чтении из экселя, потому как вставка питоном работает нормально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 14:44:28 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
kdv, я ж грю - рабочий. но не во всем красивый изменены имена БД, исходного файла и аккаунта юзера ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 16:12:35 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, поскольку сразу не получилось работать с ФБ, то пробовал из екселя в csv тем же питоном. время то же - 3,5..4 часа в зависимости от нагрузки на ПК ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 16:13:59 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
afgms679160448 162 записи обрабатывало 04:04:32, скорость ~30,5 зап/сек А чего так медленно? Насколько часто возникает такая задача? Если раз в месяц/квартал то заливка из CSV может быть сильно шустре. Это при условии, что тормозит не в FB (триггеры/железо...). задача не реалтайм, будет работать раз в 3-6 мес. железо = обычный "писюк". триггер - единственный для работы генератора. имхо ботлнек в данном случае = эксель, ибо переписывание этих же данных из екселя в csv занимает примерно столько же времени. Технологичность самой затеи лучше не обсуждать )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2014, 16:18:13 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160ботлнек в данном случае = эксельМожно выкинуть его, и читать из файла не используя сервер автоматизации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.03.2014, 16:12:23 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160, я вот тоже подумал, ведь можно вызвать метод экселя, сохраняющий данные в csv, и уже так их обработать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.03.2014, 16:43:10 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
kdv, Можно и так. Бедт время - попробую. Но как обычно есть "бубен". 1. Многолистовой файл (xls) можно сохранить только отдельными файлами листам (CSV). 2. MS насколько я знаю в этой операции не позволяет принудительно установить символ-разделитель; по дефолту это запятая, а не точка-с-запятой, как у нормального софта Можно еще пересохранить в книгу 2010, со всех листов перенести данные на первый и потом уже попробовать работу именно с книгой 2010 и с CSV Всё равно придется что-то писАть, дабы компенсировать корявость. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.03.2014, 11:02:31 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s6791602. MS насколько я знаю в этой операции не позволяет принудительно установить символ-разделитель; по дефолту это запятая, а не точка-с-запятой, как у нормального софта У тебя Питон, а у него формат экселя указать можно при парсинге csv. С одной стороны стоит разделить задачи: извлекать данные в csv одним модулем, а загружать - другим. С другой стороны вряд ли будет заметный выигрыш в производительности от этого. А вот работу с листом надо бы переделать: во-первых, у экселя можно получить рабочую область листа, и не проходить все строки. Во-вторых, получение экселевского range в виде массива намного быстрее обращения к отдельным ячейкам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.03.2014, 11:21:47 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Roman IgnatievВо-вторых, получение экселевского range в виде массива намного быстрее обращения к отдельным ячейкам. Я бы сказал на порядок быстрее ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.03.2014, 11:28:07 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. в таком виде разбор одного листа занимает не 40 мин, а 28. Не на порядок, но порядочно, -30% :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 14:49:02 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160, Код: python 1. Это построчно? Разговор был о том, чтобы весь лист загнать в массив, а потом в цикле залить в базу... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 16:30:44 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
Это ты одну строку взял. Вообще говоря, должно быть Sheet.Range(Sheet.Cells(y, 1), Sheet.Cells(y,14)) .Value , вроде бы это возвращает кортеж строки. Как я уже говорил, есть свойство UsedRange, которое возвращает использованный диапазон. Не хочешь - просто бери через range весь лист и бегай по кортежам вложенными циклами, памяти завались сейчас. Кажется, Sheet.Range(Sheet.Cells(2, 1), Sheet.Cells(65002,14)).Value даст тебе что нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 16:32:18 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160for y in range(2,65002) а окончание диапазона никак нельзя в листе узнать, "до цикла"? Зачем шерстить 65к строк, если в листе может быть всего 100 строк? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 16:35:56 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
kdv, Согласен, "жесткий" цикл есть некрасиво. Но на фоне таких данных ИМХо не играет глобальной роли. Лист1...Лист6 = 65 000 Лист7 = 58 000 Я ж грю - исходный файл из офиса 2003, где гораздо большие ограничения на количество строк. А логически это всё составляет одну БД ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 17:02:48 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
kdvs679160for y in range(2,65002) а окончание диапазона никак нельзя в листе узнать, "до цикла"? Зачем шерстить 65к строк, если в листе может быть всего 100 строк? Можно. Это метод экселя. В данном случае должно быть что-то типа Sheet.UsedRange.Rows.Count ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 17:48:54 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
stelvic, Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. Эффект есть, но не глобальный. Строка arr= [str(c) for c in Sheet.Range(Sheet.Cells(2, 1), Sheet.Cells(65000,14))] выполняется 18 мин для каждого листа. Реально не для Екселя такие работы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.03.2014, 18:11:24 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160Эффект есть, но не глобальный. Строка arr= [str(c) for c in Sheet.Range(Sheet.Cells(2, 1), Sheet.Cells(65000,14))] выполняется 18 мин для каждого листа. Реально не для Екселя такие работы Это ответ скорее Dnico , чем мне. Я же посоветовал как ограничить диапазон строк. Впрочем, если ты уверен, что на листе всегда используется 65000 строк этот совет тоже не сильно поможет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.03.2014, 10:34:25 |
|
||
|
не получается вставить строку в БД FB из Python
|
|||
|---|---|---|---|
|
#18+
s679160Эффект есть, но не глобальный. Строка arr= [str(c) for c in Sheet.Range(Sheet.Cells(2, 1), Sheet.Cells(65000,14))] выполняется 18 мин для каждого листа. Реально не для Екселя такие работы И вдогонку. Ты этой строчкой мало, что изменил. Замерь время выполнения вот этой сточки: Код: python 1. а еще лучше этой: Код: python 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.03.2014, 16:27:25 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38592057&tid=1563778]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
182ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
85ms |
get tp. blocked users: |
2ms |
| others: | 235ms |
| total: | 546ms |

| 0 / 0 |
