public class TableX
{
    public int Id { get; set; }
    public virtual ICollection<TableA> TableA{ get; set; }
    public virtual ICollection<TableB> TableB{ get; set; }
}
public class TableA
{
    public int TableXId { get; set; }
    public TableX TableX{ get; set; }
}
public class TableB
{
    public int TableXId { get; set; }
    public TableX TableX{ get; set; }
}

public TableAMap()
{
    ToTable("TableA","dbo");
    HasKey(p => p.TableXId );
    Property(p => p.TableXId).HasColumnName("TableXId").IsRequired; // В свойстве поля в таблице БД (PK,FK,int,not null)
}
public TableBMap()
{
    ToTable("TableB","dbo");
    HasKey(p => p.TableXId );
    Property(p => p.TableXId).HasColumnName("TableXId").IsRequired; // В свойстве поля в таблице БД (PK,FK,int,not null)
}

// Изменить
public class TableX
{
    public int Id { get; set; }
    public TableA TableA{ get; set; }
    public TableB TableB{ get; set; }
}

// Для TableAMap
HasRequired(lu => lu.TableX)
  .WithOptional(pi => pi.TableA);

//Для TableBMap
HasRequired(lu => lu.TableX)
  .WithOptional(pi => pi.TableB);