Поищи в библиотеках/магазинах книженцию под названием "OpenGL для профессионалов". Это талмуд в 1000 страниц, там есть описания основных алгоритмов растеризации, отсечения, трассировки лучей и т.д. - т.е. не только работа с GL но и работа с кадровым буфером на низком уровне/азы софтварной растеризации. ОДна из первых четырех глав посвящена алгоритмам отсечения. Скорее всего твой алгоритм там. Также рекомендую книги по типу "компьютерная графика в Turbo Pascal 7.0" "основы компьютерной графики" "программирование компьютерной графики" (по-моему, у Фаронова была одна такая, но здесь хороший шанс, что я его с кем-то путаю), причем чем древнее, тем лучше, так как алгоритмы будут разжеваны по причине отстутсвия аппаратного ускорения на момент издания. Ещё поищи гуглом по имени автора алгоритма, не забудь вокруг имени кавычки поставить при этом. Алгоритм я, скорее всего, знаю, но не знаю, что он именно так называется... :) Также можно поискать в сети по запросам типа "алгоритмы отсечения".