|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Здравствуйте. Есть задача - анализировать отчетность. База обновляется не часто, значений около 40 000 000 строк. Основная вычислительная нагрузка - суммирование строк с фильтрацией значений. Вопрос: если делать такую задачу на python, насколько будет отличаться скорость? Опыта работы с ним нет, хочется услышать мнение опытных людей. Подробнее: Надо суммировать строки отчетности типа организация | номер счета | значение по формулам типа сумма значений счетов из Y по организациям из X, где X,Y - наборы значений порядка 2000 позиций Иногда в формулах используется сальдо счетов (значение добавляется в сумму только если разность пары счетов положительна). В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2020, 16:39 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Раз опыта работы нет - отойди и ничего не трогай. Надоело обновлять табличку в экселе - поставь галочки "связанные данные" и "автоматическое обновление при открытии". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2020, 16:42 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2020, 17:42 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Проще вести в языке, с которым ты незнаком? Извини, не поверю. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2020, 18:14 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2020, 00:47 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Shakusa В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД в питоне есть фреймворк pandas, он заменить sql логику сможет, но это имеет смысл лишь пока данные влазят в память. большие датасеты они рекомендуют процесить в sql. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 19:32 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Shakusa если делать такую задачу на python, насколько будет отличаться скорость? Если там не какой-нибудь numpy и пр. сишные биндинги, то пистон довольно тормозной. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 04:25 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Shakusa Dimitry Sibiryakov, диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python. В Excel есть VBA (а в VBA есть ADO/OLEDB), в SQL Express есть T-SQL. Имхо, лучше воспользоваться этими средствами (предпочтительно T-SQL), чем городить огород на чём-то третьем. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 05:08 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Спасибо огромное за содержательные ответы! Теперь стало гораздо понятнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2020, 18:39 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Shakusa Здравствуйте. В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД Hadoop ?! <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.09.2020, 06:23 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
mad_nazgul, о да, для 40 млн строк самое то! ... |
|||
:
Нравится:
Не нравится:
|
|||
08.09.2020, 14:21 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Критик mad_nazgul, о да, для 40 млн строк самое то! А какая разница? Можно и на тысячи записей делать. :-) <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.09.2020, 06:26 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Python + PySpark с его DataFrame API (где на заднем плане локальнoe подобие Spark: Hadoop + Hive) в формате parquet Работа с ним напр. в Visual Studio Code , + Jupyter / Ipykernel А там уже по желанию и Pandas и Numpy и много чего для визуализации, да хоть в Excel файлы результаты конвертировать для удобства пользователей туда и обратно.. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.02.2021, 10:46 |
|
SQL-Express vs Python - скорость?
|
|||
---|---|---|---|
#18+
Shakusa, Мы слегка доработали связь ексцел с базой данных. Теперь он быстро считает-фильтрует базар на 40 миллионов строк. Выводит порциями или итоги. Свободно на гитхабе. Поможем. https://github.com/mx-alex/MX =========== ... |
|||
:
Нравится:
Не нравится:
|
|||
14.02.2021, 00:34 |
|
|
start [/forum/topic.php?fid=35&tid=1552166]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
55ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
others: | 288ms |
total: | 427ms |
0 / 0 |