Гость
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Выбор инструментов для расчета данных. / 9 сообщений из 9, страница 1 из 1
12.12.2020, 15:44
    #40027146
kolyaya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
Здравствуйте. Вопрос теоретический:
Какие инструменты лучше использовать?
1. На данный момент изначально данные поступают в текстовом виде (csv)(около 60 гб в месяц), так же есть возможность импортировать их напрямую в бд mysql.
2. В отдельном excel файле происходит фильтрация данных путем запросов PQ каждые 3 часа, что бы влезть в 1 млн. строк. соответственно в ежедневном файле по 8 листов данных.
3. Далее в следующем excel файле каждые 3 часа путем запросов PQ происходит сравнение строк данных на предмет изменения цены, а также расчет величины изменения.
4. В следующем файле данные за день объеденяются и перепроверяются.
В итоге есть структура папок с excel и csv (исходные данные) структурированные по датам.
В конечном итоге Выбирается товар из отдельной структуры и по ID выискиваются все данные по изменениям цены за последние 15 дней.
На данный момент все работает, медленно и уверенно (хотя есть предчувствие что через одно место). Но возникают идеи о расширении количества пользователей данных (на данный момент использование только локально). И есть идея о переходе от структуры по датам в структуру по ID в виду очень долгого поиска.
1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
2. Какие варианты есть для обработки (расчетов, групировки) данных. Какой софт для этого можно использовать? Стоит изучить какие либо языки программирования? Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?

Заранее благодарен.
...
Рейтинг: 0 / 0
12.12.2020, 16:35
    #40027160
fkthat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
kolyaya
Это не извращение хранить данные в бд

Хранить данные в базе данных это практически как анальный страпон
...
Рейтинг: 0 / 0
12.12.2020, 16:54
    #40027173
kolyaya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
fkthat,

Разве можно вот так из контекста фразу вырывать, я же подрозумевал именно обработку информации в Excel, путем запросов PQ.

Ну а так, повеселили спасибо. )
...
Рейтинг: 0 / 0
12.12.2020, 17:12
    #40027185
fkthat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
kolyaya,

Если серьезно, то не спец по теме Excel, но он, в т.ч. и PQ может работать со внешними данными, поэтому хранить данные в том что предназначено для хранения данных (т.е. БД), а использовать их в екселе (для презентации и т.п.) это не только нормально, но и "так и нужно".
...
Рейтинг: 0 / 0
12.12.2020, 18:23
    #40027217
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
То что вы делаете называется ETL https://ru.wikipedia.org/wiki/ETL
Я ни разу не слышал о MySQL как о сервере для Data Warehousing и много слышал победных реляций о PostgreSQL.
Excel как сервер приложений тоже вызывает вопросы (не для того он задумывался)

kolyaya Какой софт для этого можно использовать?Попросите модератора перенести вопрос в https://www.sql.ru/forum/olap-dwh
...
Рейтинг: 0 / 0
12.12.2020, 18:41
    #40027221
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
kolyaya

1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
2. Какие варианты есть для обработки (расчетов, групировки) данных. Какой софт для этого можно использовать? Стоит изучить какие либо языки программирования? Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?

Заранее благодарен.

1. Есть.
2. Самое простое использовать для этого возможности БД где лежат данные. Выбор софта и пр. зависит от того за что боретесь. Т.е. если задача смотреть динамику и т.п. то скорей всего смотрите в сторону OLAP. Если стоит задача бэк-офиса, то вариант с той же 1С по цене-качество далеко не худший выбор. Если задача фронт то об 1С сразу забываем и смотрим софт именно для фронта.
3. Таскать данные в Эксель, там менять и потом тащить все назад - ну вы сами понимаете насколько это тупо. По сути 90% времени у вас это бестолковое таскание данных туда-сюда. При этом Эксель как клиент для БД вполне приемлем.
...
Рейтинг: 0 / 0
12.12.2020, 19:31
    #40027235
fkthat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
SERG1257
Excel как сервер приложений тоже вызывает вопросы

Я считаю, наоборот, что, например, все отчетные системы уже мертвы. Людям не нужны цифры на бумаге или в ПДФ. А нужны данные, с которыми дальше можно работать. А в этом плане ексель предоставляет кучу возможностей.
...
Рейтинг: 0 / 0
14.12.2020, 10:17
    #40027559
Stanislav P
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
БД - для хранения и обработки данных.
Excel - для аналитики.

Потому, все пункты которые перечислены в первом сообщение это всё БД.
Excel - Объём продаж товара по месяцам, годам, районам, странам и прочее. Графики изменения цен и прочее.

В качестве БД может выступать любая СУБД, хоть Microsoft Access в качестве системы быстрой разработки тестовой реализации.
...
Рейтинг: 0 / 0
14.12.2020, 11:45
    #40027574
Никанор Кузьмич
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор инструментов для расчета данных.
kolyaya
1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
Я бы сказал - нет смысла задавать такие вопросы. Базы данных придумали как раз для обработки данных. Только я бы присоединился к совету выше взять постгрес.
kolyaya
Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
Не знаю, что это за PQ такой, но я очень удивлюсь, если окажется, что он умеет что-то лучше и быстрее, чем SQL.
kolyaya
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?
Извращение конечно. Я сам начинал с анализа данных в экселе 15 лет назад, и последние 10 лет работаю программистом БД (на Oracle). Если ваша работа состоит из обработки и анализа данных, вы рано или поздно придете к выводу, что лучше всего использовать какую-нибудь СУБД и SQL. Могу только посоветовать прийти к этому выводу как можно раньше.
SERG1257
Excel как сервер приложений тоже вызывает вопросы (не для того он задумывался)
Эксель изначально задумывался конечно же не для того, а просто как табличный редактор, но вот уже последние лет 20 - 25 это по сути полноценная IDE с возможностью создавать произвольные формы, писать произвольный код в неограниченном количестве и подключаться к любой СУБД через ODBC. Это неплохой компромисс для крупных забюрократизированных контор, где дать юзеру полноценный доступ к БД нельзя, потому что рылом не вышел (например, если считается, что юзер из бизнес-подразделения в принципе не способен освоить азы SQL), а работать как-то все равно надо.
...
Рейтинг: 0 / 0
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Выбор инструментов для расчета данных. / 9 сообщений из 9, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]