powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Можно ли на SQL реализовать линейную регрессию?
25 сообщений из 106, страница 2 из 5
Можно ли на SQL реализовать линейную регрессию?
    #40046124
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
Эта задачка всплыла у меня в связи с идеей пощупать "корреляционную матрицу" (читай "регрессионную") для...
Полностью реализованную на SQL?
Ёжики кололись но упорно лезли на кактус?
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046131
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv
Полностью реализованную на SQL?
-- нет, быстро оказался от этой идеи (даже в извращённой форме https://www.sql.ru/forum/1333430/vopros-o-shodimosti-psevdoregressii ), поскольку, как написал выше:
Иван FXS
В принципе, формулируя вопрос, я интуитивно предполагал, что это невозможно. И хотел получить подтверждение этому.
... и написал (линейную) регрессию на VBA.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046159
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
.. и написал (линейную) регрессию на VBA.
разве он не однопоточный? как-же многоядерность/параллельность,
оптимизации под расшиенные инструкции архитектуры современных процессоров?
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046163
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv
как-же многоядерность/параллельность,
оптимизации под расшиенные инструкции архитектуры современных процессоров?
-- а мне точно без этого никак не обойтись? Да вы, чай, смеётесь надо мной... не хорошо!
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046185
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T
Иван FXS
пощупать "корреляционную матрицу" (читай "регрессионную") для американского рынка акций -- если вдруг кому-нибудь эта тема интересна...

Сомневаюсь что нынешний рынок акций поддается хоть какому-то тех.анализу. Туда идет огромный поток свеженапечатанных баксов, поэтому его колбасит то от твитов Маска, то от троллинга с реддита и т.д. и т.п.

Полностью поддерживаю. Добавлю что в независимости от выбора алгоритмов - нам
всегда будет не хватать исходных данных которые оказывают влияние на цену акций.
Например таже политическая ситуация с выборами в США или флешмоб в Reddit тоже
оказывают сильное влияние (причем первичное) на цену акций. И если мы будем
искать корреляции между ценами акций то мы ничего интересного не найдем.
Проще сразу брать биржевой индекс. Благо он публикуется регулярно.

Тоесть как научно-познавательная задача - это интересно и я поддерживаю. И поддерживаю
с программистской солидарности.

Но как практический интерес - я думаю что она бесполезна. Вряд-ли на этом можно
что-то заработать в долгосрочном смысле.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046239
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
исходных данных которые оказывают влияние на цену акций
-- вы полагаете, что без учёта всех "влияний на цену акций" никак не получится? А вы когда в мяч играете -- все влияния учитываете?

mayton
искать корреляции между ценами акций то мы ничего интересного не найдем.
Проще сразу брать биржевой индекс
-- биржевой индекс вообще никак не может служить заменой корреляциям между ценами акций. Это разное и про разное.

Просто представьте совершенно надуманную ситуацию, что некоторая акция Б повторяет на следующий день то движение, которое в предыдущий день сделала некоторая акция А. И что от этой зависимости останется, если мы из них построим биржевой индекс (типа (А+Б)/2 )?
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046247
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

...
И если мы будем искать корреляции между ценами акций то мы ничего интересного не найдем.
...

Как я понимаю, существует такой род деятельности как "арбитраж"

Т.е. если между акциями похожих компаний в "реальном секторе" ( TM ) экономики существует четкая коррелиция ))), и вдруг одна из акций начинает резко двигаться из-за флешмоба ))), то вполне вероятно, что можно заняться арбитражом между данной акцией и связанных с нею.

Например неудачный флешмоб на рынке серебра. Очень быстро сошел на нет. Подозреваю, как раз из-за такого арбитража от части игроков. Т.к. пытаться флешмобить одну акцию/товар - это одно, а подвинуть весь мировой рынок серебра и связанных с ним продуктов - совершенно другое.

IMHO

p.s. как я понимаю на Российском рынке так же есть хорошо коррелируемые пары. Например цена на золото и акции золотодобывающих компаний (Полюс). С нефтянкой наверное все сложнее, т.к. там больше политики. Но у нас вообще вся страна (курса рубля) и цен на нефть тоже неплохо коррелирует.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046249
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть разница между случайными значениями и значениями случайного процесса: Хабр
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046257
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS, я даже не буду с вами спорить.

Пожалуйста. Стройте и корреляции и Фурье анализ. Яж говорю. Из технического инфантильного
любопытсвта я вас поддержу.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046264
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

Ну корреляции они такие ))). Например "ядерные взрывы спасают от землетрясений"
https://scinquisitor.livejournal.com/70395.html

note: в конце картинка показывающая корреляцию между кол-во людей утонувших в бассейне и кол-вом фильмов в которых снялся Николас Гейдж
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046266
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, да, от споров практической пользы нет. Разве что --"прокачка" (собственного) понятийного аппарата... Типа, вот, сказали вы "проще сразу брать биржевой индекс" -- мне понадобилось не очень много секунд, чтобы понять и сформулировать, что это мимо. Ну, разминка.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046391
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
mayton, да, от споров практической пользы нет. Разве что --"прокачка" (собственного) понятийного аппарата... Типа, вот, сказали вы "проще сразу брать биржевой индекс" -- мне понадобилось не очень много секунд, чтобы понять и сформулировать, что это мимо. Ну, разминка.

Разминка.

А как насчет корреляционного анализа индексов? Между странами например.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046408
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
А как насчет корреляционного анализа индексов? Между странами например.
-- любые торгуемые инструменты можно корреляционно анализировать.

Только вот услышали ли вы, что я имею в виду корреляцию (регрессию, на самом деле) лаговых приростов -- в смысле гротескного примера:
Иван FXS
представьте совершенно надуманную ситуацию, что некоторая акция Б повторяет на следующий день то движение, которое в предыдущий день сделала некоторая акция А
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046410
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Услышал. Именно поэтому я и упомянул про анализ Фурье.

Ну давай уже скорее макет. Не терпится глянуть кто там самый главный.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046415
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, хорошо. Просто следом легло смешное
Leonid Kudryavtsev
note: в конце картинка показывающая корреляцию между кол-во людей утонувших в бассейне и кол-вом фильмов в которых снялся Николас Гейдж
-- которое, конечно, совершенно мимо кассы.

Анализ Фурье я не вижу, при чём тут -- в моей картинке его нет: по каким гармоникам (по гармоникам чего )?

Ну и там дело не в том, "кто там самый главный". Как использовать эту регрессионную матрицу ( матрицу регрессионных коэффициентов) -- отдельный (и намного более деликатный) разговор.

... впрочем, чего там, могу и разболтать, язык без костей: строим, конечно, регрессионные прогнозы (прогнозы на основании регрессии) на завтра, и смотрим, насколько будет сладко, если выбирать из них самые сладкие.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046418
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Матрица (МРК) может выступить капитаном-очевидностью и сообщить нам корреляции которые мы и так знаем.
Одна ценная бумага зависит от цены на золото с лагом. И кроме того МРК может сообщить к нашему сожалению что
прочие влияния равны нулю и этих прочих данных в матрице будет много.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046419
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
по subj: насколько я помню корреляцию по лагам критерий по Дурбину-Ватсону неплохо ловит.

на счёт остального - может не стоит привязываться к конкретной области,
а то начнут тут мерятся у кого длиннее не разбираясь в вопросе..
чисто математический контекст, алгоритм, скрипты решения, максимум примеры уже можно из какой-то конкретной области притянуть..
а то всё больше напоминает падение в сторону алкоголиков: о политике, спорте, других вселенных,
в общем о всём к чему нет никакого отношения и на что нет никакого влияния/контроля
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046421
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, вы же ведь просто по инерции продолжаете употреблять слово "корреляция"? Потому что регрессия это не корреляция, и даже не совокупность (вектор) корреляций -- ибо Иксы не ортогональны!

"Влияния равны нулю" -- типа совсем нулю равны коэффициенты регрессии? Это же невероятный исход. Они могут быть невелики... Кстати, "невеликий" -- это сколько, по-вашему, для коэффициента регрессии (по модулю, конечно) на нормализованных величинах: 0.1, 0.01 или 0.001 (при том, что свободных переменных ~100)?

Но, в самом деле, в итоге может и не получиться ... каменный цветок.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046430
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
(при том, что свободных переменных ~100)
спросите у меня, почему "~100" -- я и это разболтаю: потому что я люблю NASDAQ-100. Любил бы SP500 -- было бы ~500. А так-то на американском фондовом рынке торгуется акций -- грубо, по порядку величины, 10^4...
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046479
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А из какого data-provider ты тянешь данные по NASDAQ-100?
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046481
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stooq. com/ db/ h/
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046664
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Не терпится глянуть кто там самый главный.
вопрос "кто там самый ..." -- звучит, конечно, не так, а "кто там самый предсказуемый ?"
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну типа тово. Можно пятничный топик поднять. Только переформатировать вопрос. С абстрактной регрессии
до вполне себе узкой задачи. Чтоб были понятны inputs/outputs. Если ты не против.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046700
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

я не против, просто не понимаю, что это такое. Но посмотрю, конечно.
...
Рейтинг: 0 / 0
Можно ли на SQL реализовать линейную регрессию?
    #40046709
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну... пятничный топик - это что-то не-продуктовое. Я-бы сказал развлекательно-познавательное.
Но без тебя всё равно правильную формулировку не придумаю.

У меня есть в этом свой интерес. Хочу Apache Spark попробовать в анализе данных. Вот ищу подходящую
постановку "на подумать".
...
Рейтинг: 0 / 0
25 сообщений из 106, страница 2 из 5
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Можно ли на SQL реализовать линейную регрессию?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]