class MyReaderWriterLockSlim : ReaderWriterLockSlim {
   public UInt64 last_access;

   MyReaderWriterLockSlim(UInt64 now) {
      last_access = now;
   }
}

public class NamedReaderWriterLocker
{
	private readonly ConcurrentDictionary<string, MyReaderWriterLockSlim> _lockDict = new ConcurrentDictionary<string, MyReaderWriterLockSlim >();
	private volatile UInt64 now_count = 0;

	public ReaderWriterLockSlim GetLock(string name)
	{
		now_count++;
		var l = _lockDict.GetOrAdd(name, s => new MyReaderWriterLockSlim(now_count));
		l.last_access = now_count;
		return l;
	}
...

void DeleteOld() {
  var to_del = ConcurrentDictionary<string, ReaderWriterLockSlim>; // промежуточное хранилище для удаляемых
  перебираем _lockDict {
    if(ReaderWriterLockSlim не имеет блокировок) {
        блокируем его на запись
        добавляем в to_del
        удаляем из _lockDict
  }
  пауза 50-100 мс чтобы встали на ожидание те кто успел получить ссылку на удаляемый объект
  перебираем to_del {
      if(есть ожидающие блокировки ReaderWriterLockSlim) {
        блокируем на запись новый ReaderWriterLockSlim из _lockDict
        освобождаем старый из to_del
        даем доработать ожидающим старого
      }
  }
  to_del вместе используемыми им объектами почистит сборщик мусора
}

public class NamedReaderWriterLocker {
...
private volatile UInt64 last_clean = 0;

void DeleteOld() {
    ...
    перебираем _lockDict {
      if(ReaderWriterLockSlim.last_access < last_clean and не имеет блокировок) {
         ...
      }
      if(_lockDict.Lenght < допустимого размера) break;
    }
    ...
    last_clean = now_count;
}

	private readonly ... _lockDict = new ConcurrentDictionary<Int32, ReaderWriterLockSlim >();

	public ReaderWriterLockSlim GetLock(string name)	{
		retun _lockDict.GetOrAdd(name.GetHashCode(), s => new ReaderWriterLockSlim());
	}

		return _lockDict.GetOrAdd(name.GetHashCode() & 0xFFFF, s => new ReaderWriterLockSlim());

Int32 hash = name.GetHashCode();
return _lockDict.GetOrAdd((hash & 0xFFFF) ^ (hash >> 16), ...