Документация по разработке CSP (да и сам CSPDK) очень старая. И действительно в ней можно встретить массу непонятных утверждений или столкнуться с вопросами, на которые в документации нет ответов. Дополнительные проблемы в том, что Microsoft ещё и вдобавок игнорируют вопросы по данной тематике, заданные на форумах поддержки.
Для тестирования и отладки необязательно использовать отладчик ядра. Вполне можно найти в Интернете пропатченные библиотеки Advapi32.dll (именно в ней находятся функции, которые проверяют подпись криптопрвайдера) для вашей операционной системы (актуально для всех ОС, кроме Windows 7 - там немного по-другому, хотя очень похоже), установить их и временно забыть о проблемах с цифровой подписью вашего криптопрвайдера. Далее можно написать небольшие самплы и исследовать ваш криптопровайдер с помощью отладчика.
Кроме того, можно скачать и исследовать бесплатные криптоповайдеры. По крайней мере один такой я знаю, называется он CSP#11 (CSP Eleven, http://csp11.labs.libre-entreprise.org/).
А ещё можно скачать коммерческий криптопровайдер. Часто к ним поставляются приложения для тестирования, исходники которых иногда также присутствуют. Например, так делают VIA CSP (http://www.viaarena.com/displaydownload.aspx?PageID=1&DSCat=161&DCatType=1).