private ConcurrentDictionary<string, WeakReference<ReaderWriterLockSlim>> _lockDic;

public ReaderWriterLockSlim GetLock(string key)
{
   var lockRef = _lockDic.AddOrUpdate(key, 
      (k) => new WeakReference<ReaderWriterLockSlim>(new ReaderWriterLockSlim()), 
      (k, v) => v.Target == null
         ? new WeakReference<ReaderWriterLockSlim>(new ReaderWriterLockSlim())
         : v
      );
   return lockRef.Target;
}


...

// вызывается периодически
private void Clear()
{
   foreach(var item in _lockDic.Where(p => !p.Value.IsAlive).ToList())
   {
       WeakReference<ReaderWriterLockSlim> value;
       _lockDic.TryRemove(item.Key, out value);
   }
}

private ConcurrentDictionary<string, WeakReference<ReaderWriterLockSlim>> _lockDic;

public ReaderWriterLockSlim GetLock(string key)
{
   WeakReference<ReaderWriterLockSlim> lockRef;
   ReaderWriterLockSlim lockObj;
   if(!_lockDic.TryGet(key, out lockRef) || (lockObj = lockRef.Target) == null)
   {
      var lockObj = new ReaderWriterLockSlim();
      var lockRef = new WeakReference<ReaderWriterLockSlim>(lockObj);
      _lockDic.AddOrUpdate(key, (k) => lockRef, (k, v) => 
      {
          var target = v.Target;
          if (target != null)
          {
             lockObj = target;
             return v;
          }
          return lockRef;
      });
   }
   return lockObj;
}

private ConcurrentDictionary<string, WeakReference<ReaderWriterLockSlim>> _lockDic;

public ReaderWriterLockSlim GetLock(string key)
{
   WeakReference<ReaderWriterLockSlim> lockRef;
   ReaderWriterLockSlim lockObj;
   // если
   // в словаре нет ссылки
   // или ссылка есть, но она уже обнулилась
   // (при чём сразу получим строгую ссылку)
   if(!_lockDic.TryGet(key, out lockRef) || (lockObj = lockRef.Target) == null)
   {
      // создаём новый объект блокировки и новую слабую ссылку
      var lockObj = new ReaderWriterLockSlim();
      var lockRef = new WeakReference<ReaderWriterLockSlim>(lockObj);
      // добавим или обновим ссылку
      _lockDic.AddOrUpdate(key, 
          // в словаре ещё нет значения, значит добавим ссылку
          (k) => lockRef, 
          // в словарь уже кто-то успел добавить ссылку
          // тогда произведём обновление 
          (k, v) => 
         {
             // получим строгую ссылку из имеющейся слабой ссылки
             var target = v.Target;
             // если ссылка живая
             if (target != null)
             {
                // то присвоим её локальной переменной, чтобы вернуть
                lockObj = target;
                // оставляем слабую ссылку без изменений
                return v;
             }
             // если ссылка уже не живая, то обновим на новую ссылку
             return lockRef;
         });
   }
   // к этому моменту мы гарантировано имеем живую строгую ссылку
   // существующую в единственном экземпляре
   // гарантируется, что других строгих ссылок на объект блокировки
   // по ключу ни в одном потоке нет
   return lockObj;
}