Гость
Map
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / SQL-Express vs Python - скорость? / 14 сообщений из 14, страница 1 из 1
19.08.2020, 16:39
    #39990878
Shakusa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Здравствуйте.

Есть задача - анализировать отчетность. База обновляется не часто, значений около 40 000 000 строк. Основная вычислительная нагрузка - суммирование строк с фильтрацией значений.

Вопрос: если делать такую задачу на python, насколько будет отличаться скорость? Опыта работы с ним нет, хочется услышать мнение опытных людей.

Подробнее:

Надо суммировать строки отчетности типа

организация | номер счета | значение

по формулам типа

сумма значений счетов из Y по организациям из X, где X,Y - наборы значений порядка 2000 позиций

Иногда в формулах используется сальдо счетов (значение добавляется в сумму только если разность пары счетов положительна).

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД
...
Рейтинг: 0 / 0
19.08.2020, 16:42
    #39990881
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Раз опыта работы нет - отойди и ничего не трогай. Надоело обновлять табличку в экселе -
поставь галочки "связанные данные" и "автоматическое обновление при открытии".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.08.2020, 17:42
    #39990904
Shakusa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.
...
Рейтинг: 0 / 0
19.08.2020, 18:14
    #39990914
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Проще вести в языке, с которым ты незнаком? Извини, не поверю.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2020, 00:47
    #39990985
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Shakusa
питон перенести, там вроде есть какие-то возможности, аналогичные БД


...
Рейтинг: 0 / 0
23.08.2020, 19:32
    #39991802
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Shakusa

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД

в питоне есть фреймворк pandas, он заменить sql логику сможет, но это имеет смысл лишь пока данные влазят в память. большие датасеты они рекомендуют процесить в sql.
...
Рейтинг: 0 / 0
24.08.2020, 04:25
    #39991860
crutchmaster
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Shakusa
если делать такую задачу на python, насколько будет отличаться скорость?


Если там не какой-нибудь numpy и пр. сишные биндинги, то пистон довольно тормозной.
...
Рейтинг: 0 / 0
24.08.2020, 05:08
    #39991861
SQL-Express vs Python - скорость?
Shakusa
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.

В Excel есть VBA (а в VBA есть ADO/OLEDB), в SQL Express есть T-SQL. Имхо, лучше воспользоваться этими средствами (предпочтительно T-SQL), чем городить огород на чём-то третьем.
...
Рейтинг: 0 / 0
07.09.2020, 18:39
    #39996311
Shakusa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Спасибо огромное за содержательные ответы! Теперь стало гораздо понятнее.
...
Рейтинг: 0 / 0
08.09.2020, 06:23
    #39996397
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Shakusa
Здравствуйте.


В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД


Hadoop ?!

<:o)
...
Рейтинг: 0 / 0
08.09.2020, 14:21
    #39996582
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
mad_nazgul,

о да, для 40 млн строк самое то!
...
Рейтинг: 0 / 0
09.09.2020, 06:26
    #39996763
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Критик
mad_nazgul,

о да, для 40 млн строк самое то!


А какая разница?
Можно и на тысячи записей делать. :-)
<:o)
...
Рейтинг: 0 / 0
01.02.2021, 10:46
    #40040396
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Python + PySpark с его DataFrame API (где на заднем плане локальнoe подобие Spark: Hadoop + Hive) в формате parquet
Работа с ним напр. в Visual Studio Code , + Jupyter / Ipykernel
А там уже по желанию и Pandas и Numpy и много чего для визуализации,
да хоть в Excel файлы результаты конвертировать для удобства пользователей туда и обратно..
...
Рейтинг: 0 / 0
14.02.2021, 00:34
    #40045153
MX-9
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL-Express vs Python - скорость?
Shakusa,
Мы слегка доработали связь ексцел с базой данных.
Теперь он быстро считает-фильтрует базар на 40 миллионов строк.
Выводит порциями или итоги.
Свободно на гитхабе. Поможем.
https://github.com/mx-alex/MX
===========
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / SQL-Express vs Python - скорость? / 14 сообщений из 14, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]