Ну... не вникая глубоко в тонкости инф. безопасности могу сказать, что шифруют обычно канал. Т.е. ты подходишь к сетевым админам. Объясняешь им проблему и они поднимают тебе какой-нибудь IPSec. И твоё приложение работает как обычно, но кул-хацкер видит только шифрованный трафик. Если кулкацкер будет хакать сетевое оборудовение и серверы - то это отдельная тема.

Любитель .NET технологийЭто клиент-серверное приложение, и у кулххацкера есть доступ к клиентской части.
Как реализован клиент? Браузер, Браузер с Web-стартом? Или просто Windows-приложение?

Любитель .NET технологийЗачем вообще нужно шифровать пакеты? Чего стоит кулхацкеру декомпильнуть приложение и посмотреть алгоритм зашифровки\расшифровки...
Любитель .NET технологийфлеш-приложение на сокетах
Возвращаю к началу. Алгоритмы "зашифровки\расшифровки" сегодня не являются секретными. Они общедоступны в исходниках. Секретом является ключ, который вставляется в алгоритм - как обойма в пистолет. Это и обеспечивает секретность. Ключ можно генерить по разным алгоритмам. Например на основе пароля.

Несколько по иному реализован протокол SSL. Он избавлен от явного запоминания паролей и генерит случайный (сенасовый ключ). В общем случае тебе даже ничего делать не надо, а только прописать в приложении сертификат сервера, который предварительно надо для сервера создать. После этого между приложением и сервером будет абсолютно секретный канал, по которому можно передавать открытым текстом и принимать конф. информацию не боясь быть подслушанным. Ломать сеансовый ключ SSL - бесполезное занятие т.к. по протоколу он может изменятся несколько раз во время сессии работы пользователя.

Как это всё рализуется во flash приложениях я к сожалению не знаю т.к. не занимался кодингом под flash. Но думаю, что поддержка https (SSL) должна быть в нём.