Для всех алгоритмом пишут их асимптотическую оценку.
Например:
heap_sort:
O(n log n)
bin_search:
O(log n)
... и т. д. и т. п.

Это все дает необходимую информацию по этим алгоритмам,
но на практике бывает нужно более точно определить функцию,
которая бы задавала зависимость количества операций от
размера входных данных.
Точнее допустим мы хотим модифицированные версии быстрой
сортировки, и определить которая работает быстрее на большинстве
входных данных.

Как этого можно добиться.
Конечно можно тестировать, программу, учитывая что время которая она
потратит пропорционально количеству действий.

Посоветуйте документацию по этой теме.

GrunchВидимо, ТС хочет видеть формулу О(n Log n) в виде, например 10*n*Log(n) + 1500. То есть конкретную оценку сложности, до выделения асимптотики.
Проблема в том, что один и тот же алгоритм, с одной и той же асимптотической сложностью, на разных входных данных (даже одного размера) может работать по-разному, соответственно и константы будут разные. Поэтому получение такой оценки задача неблагодарная и, в общем случае, бессмысленная.
Для оценки скорости работы разных вариантов алгоритма лучше использовать прогоны на одинаковых данных и засекать время их выполнения. Такая оценка и то будет точнее.

Полность согласен с вашим мнением. Но иногда случается так что значения констант очень велики и это сильно влияет на время работы. Например, сортировка за время O(n^2) предпочтитеьнее чем сортировка за O(500000*log n), для малых значений n.
Вопрос в том как заметить эти константы, которые иногда играют значительную роль.