Во-первых, это Java. А это значит что уже существует масса готовых решений. Java Plug-in Framework, OSGi, SPI.
Во-вторых свой ClassLoader не нужен. Обычно достаточно URLClassLoader-а. Но если педалировать велосипед самому, то нужно выстраивать иерархиую из URLClassLoader-ов самостоятельно.
SecurityManager? Это уже зависит от решаемой задачи. Действительно ли мы боимся что вендоры плагинов сломают систему? Если, да, то возможно придется и повозится с SecurityManager, чтобы уметь ограничивать только плагины, а не ядро.

BananasBlazkowicz, спасибо за разъяснение. Возникла идея программы, для себя. Тогда можно не мучиться и взять готовое решение... А на андроиде они будут работать - там dalvik, а не jvm?
Боюсь, в dalvik-е ничего вышеперечисленного работать не будет. Надо разбираться в том как работает эта VM, чтобы выработать правильное решение.

C SecurityManager тоже не всё просто.