Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
19.08.2020, 16:39
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Здравствуйте. Есть задача - анализировать отчетность. База обновляется не часто, значений около 40 000 000 строк. Основная вычислительная нагрузка - суммирование строк с фильтрацией значений. Вопрос: если делать такую задачу на python, насколько будет отличаться скорость? Опыта работы с ним нет, хочется услышать мнение опытных людей. Подробнее: Надо суммировать строки отчетности типа организация | номер счета | значение по формулам типа сумма значений счетов из Y по организациям из X, где X,Y - наборы значений порядка 2000 позиций Иногда в формулах используется сальдо счетов (значение добавляется в сумму только если разность пары счетов положительна). В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД ... |
|||
:
Нравится:
Не нравится:
|
|||
|
19.08.2020, 16:42
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Раз опыта работы нет - отойди и ничего не трогай. Надоело обновлять табличку в экселе - поставь галочки "связанные данные" и "автоматическое обновление при открытии". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
|
19.08.2020, 17:42
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Dimitry Sibiryakov, диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
19.08.2020, 18:14
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Проще вести в языке, с которым ты незнаком? Извини, не поверю. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
|
20.08.2020, 00:47
|
|||
---|---|---|---|
SQL-Express vs Python - скорость? |
|||
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.08.2020, 19:32
|
|||
---|---|---|---|
SQL-Express vs Python - скорость? |
|||
#18+
Shakusa В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД в питоне есть фреймворк pandas, он заменить sql логику сможет, но это имеет смысл лишь пока данные влазят в память. большие датасеты они рекомендуют процесить в sql. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.08.2020, 04:25
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Shakusa если делать такую задачу на python, насколько будет отличаться скорость? Если там не какой-нибудь numpy и пр. сишные биндинги, то пистон довольно тормозной. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.08.2020, 05:08
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Shakusa Dimitry Sibiryakov, диапазон данных и промежуточные вычисления периодически меняются. Чем поддерживать это в экселе проще вести всё в python. В Excel есть VBA (а в VBA есть ADO/OLEDB), в SQL Express есть T-SQL. Имхо, лучше воспользоваться этими средствами (предпочтительно T-SQL), чем городить огород на чём-то третьем. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
07.09.2020, 18:39
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Спасибо огромное за содержательные ответы! Теперь стало гораздо понятнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
08.09.2020, 06:23
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Shakusa Здравствуйте. В итоге получается большая табличка с данными, которая экспортируется в эксель и там анализируется. Надоело её обновлять и было принято решение переписать всю рутинную часть эксель анализа в python, а оттуда экспортировать в excel. Возникла мысль - а может тогда сразу и с sql всё на питон перенести, там вроде есть какие-то возможности, аналогичные БД Hadoop ?! <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
|
08.09.2020, 14:21
|
|||
---|---|---|---|
SQL-Express vs Python - скорость? |
|||
#18+
mad_nazgul, о да, для 40 млн строк самое то! ... |
|||
:
Нравится:
Не нравится:
|
|||
|
09.09.2020, 06:26
|
|||
---|---|---|---|
|
|||
SQL-Express vs Python - скорость? |
|||
#18+
Критик mad_nazgul, о да, для 40 млн строк самое то! А какая разница? Можно и на тысячи записей делать. :-) <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
|
01.02.2021, 10:46
|
|||
---|---|---|---|
SQL-Express vs Python - скорость? |
|||
#18+
Python + PySpark с его DataFrame API (где на заднем плане локальнoe подобие Spark: Hadoop + Hive) в формате parquet Работа с ним напр. в Visual Studio Code , + Jupyter / Ipykernel А там уже по желанию и Pandas и Numpy и много чего для визуализации, да хоть в Excel файлы результаты конвертировать для удобства пользователей туда и обратно.. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
14.02.2021, 00:34
|
|||
---|---|---|---|
SQL-Express vs Python - скорость? |
|||
#18+
Shakusa, Мы слегка доработали связь ексцел с базой данных. Теперь он быстро считает-фильтрует базар на 40 миллионов строк. Выводит порциями или итоги. Свободно на гитхабе. Поможем. https://github.com/mx-alex/MX =========== ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
Start [/forum/topic.php?fid=35&mobile=1&tid=1552166]: |
0ms |
get settings: |
24ms |
get forum list: |
25ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
70ms |
get topic data: |
18ms |
get forum data: |
2ms |
get page messages: |
385ms |
get tp. blocked users: |
2ms |
others: | 18ms |
total: | 552ms |
0 / 0 |