Таких алгоритмов несколько. Один из них например описан (я думаю в нескольких) книгах Дональда Кнута (это его собственный).
Простейший - добавлять новое слово (или слог, если разрешены перенсы), пока это влезает в строку. Это - "несжимающий" алгоритм (никогда не уплотняет строку). Есть также оптимальный алгоритм (у Кнута - optimal fit, если не путаю). Это когда ты считаешь веса (штрафы за перенос в данном месте) для всех возможных точек переноса в окрестности границы строки и выбираешь лучшую точку для данной строки.

В общем, если взять книгу Кнута "компьютерная типография" - там есть глава, целиком посвященная этому. Книга есть на русском. Фактически глава - это одна из статей Кнута, так что она может быть и в других книгах Кнута.