Еще один заход:

1. Посчитать площадь прямоугольника S = A*B, где A,B - стороны прямоугольника.
2. Поделить площадь на N: q = S/N, где N - количество размещаемых квадратов.
3. Извлечь квадратный корень из результата a = sqrt(q).
4. Если rem(A/a) = rem(B/a) = 0, то сторона искомого квадрата x = a.
5. Поделить стороны прямоугольника на результат a и вычесть остаток от деления из a: ra = a-rem(A/a), rb = a-rem(B/a).
6. Если ra <= rb, то сторона искомого квадрата x = a - ra/(div(A/a)+1), где div(A/a) - целая часть от результата деления A/a.
7. Иначе x = a - rb/(div(B/b)+1).

Сорри за ошибки.

cronix111Еще один заход:

1. Посчитать площадь прямоугольника S = A*B, где A,B - стороны прямоугольника.
2. Поделить площадь на N: q = S/N, где N - количество размещаемых квадратов.
3. Извлечь квадратный корень из результата a = sqrt(q).
4. Если rem(A/a) = rem(B/a) = 0, то сторона искомого квадрата x = a.
5. Поделить стороны прямоугольника на результат a и вычесть остаток от деления из a: ra = a-rem(A/a), rb = a-rem(B/a).
6. Если ra <= rb, то сторона искомого квадрата x = a - ra/(div(A/a)+1), где div(A/a) - целая часть от результата деления A/a.
7. Иначе x = a - rb/(div(B/b)+1).

Сорри за ошибки.

Еще дополню (умещение квадратов по горизонтали в прямоугольник еще не гарантирует при этом умещения квадратов по вертикали, и наоборот):

8. Если выполнен п. 6., то по горизонтали помещается n = A/x квадратов. А по вертитикали m = N/n ( +1 при rem(N/n)>0).
9. Если m*x > B, то нужно еще раз уменьшить x, чтобы все уместилось и по-вертикали: x = x - (x-rem(B/x)) / (div(B/x)+1).

Тогда весь алгоритм:

1. Посчитать площадь прямоугольника S = A*B, где A,B - стороны прямоугольника.
2. Поделить площадь на N: q = S/N, где N - количество размещаемых квадратов.
3. Извлечь квадратный корень из результата a = sqrt(q).
4. Если rem(A/a) = rem(B/a) = 0, то сторона искомого квадрата x = a.
5. Поделить стороны прямоугольника на результат a и вычесть остаток от деления из a: ra = a-rem(A/a), rb = a-rem(B/a).
6. x1 = a - ra/(div(A/a)+1), где div(A/a) - целая часть от результата деления A/a.
7. x2 = a - rb/(div(B/a)+1).
8. m = N*x1/A ( + 1, если rem(N*x1/A) > 0).
9. n = N*x2/B ( + 1, если rem(N*x2/B) > 0).
10. Если m*x1 > B, то x1 = x1 - (x1-rem(B/x1)) / (div(B/x1)+1).
11. Если n*x2 > A, то x2 = x2 - (x2-rem(A/x2)) / (div(A/x2)+1).
12. Искомый x = max(x1, x2).