Ну, не напрягая особо моск (ибо после Нового Года сразу резко думать опасно) - метод наименьших квадратов. Очевидно, если Вы уверены что у Вас эллипс, то существует система координат сдвинутая и повернутая относительно Вашей на некоторый угол, в которой уравнение эллипса будет иметь канонический вид:

x^2/a^2 + y^2/b^2 = 1

МНК позволит получить систему 5 нелинейных уравнения для 5ти неизвестных:

x0,y0 - сдвиг начала координат
alpha - угол поворота координатной системы
a,b - главные полуоси эллипса в новой системе координат.

Ну, решать придётся по Ньютону, количество итераций будет зависеть от качества начального приближения, тут уж ничего не попишешь.

Получив неизвестные можно будет перегнать каноническую форму в Вашу исходную систему координат обратным преобразованием.

Ну это такой вообщем то универсальный подход в стиле "brute force", если есть какие-то специальные методы конкретно для этой задачи, надеюсь найдутся люди, которые Вам здесь о них расскажут.