powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / SQL-Express vs Python - скорость?
14 сообщений из 14, страница 1 из 1
SQL-Express vs Python - скорость?
    #39990878
Shakusa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте.

Есть задача - анализировать отчетность. База обновляется не часто, значений около 40 000 000 строк. Основная вычислительная нагрузка - суммирование строк с фильтрацией значений.

Вопрос: если делать такую задачу на python, насколько будет отличаться скорость? Опыта работы с ним нет, хочется услышать мнение опытных людей.

Подробнее:

Надо суммировать строки отчетности типа

организация | номер счета | значение

по формулам типа

сумма значений счетов из Y по организациям из X, где X,Y - наборы значений порядка 2000 позиций

Иногда в формулах используется сальдо счетов (значение добавляется в сумму только если разность пары счетов положительна).

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39990881
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Раз опыта работы нет - отойди и ничего не трогай. Надоело обновлять табличку в экселе -
поставь галочки "связанные данные" и "автоматическое обновление при открытии".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39990904
Shakusa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39990914
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Проще вести в языке, с которым ты незнаком? Извини, не поверю.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39990985
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shakusa
питон перенести, там вроде есть какие-то возможности, аналогичные БД


...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39991802
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shakusa

В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД

в питоне есть фреймворк pandas, он заменить sql логику сможет, но это имеет смысл лишь пока данные влазят в память. большие датасеты они рекомендуют процесить в sql.
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39991860
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shakusa
если делать такую задачу на python, насколько будет отличаться скорость?


Если там не какой-нибудь numpy и пр. сишные биндинги, то пистон довольно тормозной.
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39991861
Shakusa
Dimitry Sibiryakov,

диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python.

В Excel есть VBA (а в VBA есть ADO/OLEDB), в SQL Express есть T-SQL. Имхо, лучше воспользоваться этими средствами (предпочтительно T-SQL), чем городить огород на чём-то третьем.
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39996311
Shakusa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо огромное за содержательные ответы! Теперь стало гораздо понятнее.
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39996397
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shakusa
Здравствуйте.


В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД


Hadoop ?!

<:o)
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39996582
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul,

о да, для 40 млн строк самое то!
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #39996763
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик
mad_nazgul,

о да, для 40 млн строк самое то!


А какая разница?
Можно и на тысячи записей делать. :-)
<:o)
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #40040396
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Python + PySpark с его DataFrame API (где на заднем плане локальнoe подобие Spark: Hadoop + Hive) в формате parquet
Работа с ним напр. в Visual Studio Code , + Jupyter / Ipykernel
А там уже по желанию и Pandas и Numpy и много чего для визуализации,
да хоть в Excel файлы результаты конвертировать для удобства пользователей туда и обратно..
...
Рейтинг: 0 / 0
SQL-Express vs Python - скорость?
    #40045153
MX-9
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shakusa,
Мы слегка доработали связь ексцел с базой данных.
Теперь он быстро считает-фильтрует базар на 40 миллионов строк.
Выводит порциями или итоги.
Свободно на гитхабе. Поможем.
https://github.com/mx-alex/MX
===========
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / SQL-Express vs Python - скорость?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Yandex Bot, Cat2 2 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]