public class Tasks
{
    public int Id { get; set; }
    public string Caption { get; set; }
    public virtual ICollection<TasksReference> Reference { get; set; }
}
public class TasksReference
{
    public int Id { get; set; }
    public int TaskId { get; set; }
    public Tasks Task { get; set; }
    public string TypeEntity { get; set; } // { сущности A, B, ... } 
    public int ReferenceId { get; set; } // { Id сущностей A, B, ... } 
}
public class A
{
    public int Id { get; set; }
}
public class B
{
    public int Id { get; set; }
}

TasksReference
                                  (Тип сущности)      (Id сущности)
Id[FK]         TaskId[FK]         TypeEntity          ReferenceId   
1              1                  A                   1
2              2                  A                   1
3              1                  B                   10