для этого прям в теге необходимо набирать "& amp;"
Только СЛИТНО (без пробела) !!!!!
Здесь я их разделил пробелом, так как сама страница (на которую ты сейчас смотришь заменяет их на & :)

например:

<appSettings>
<add key="MyString" value="Company Procter & amp; Gamble." />
</appSettings>

===============================================
Когда выводишь значение ключа на страницу:
Response.Write(ConfigurationSettings.AppSettings.Get("MyString"));

На ней появится: Company Procter & Gamble.