public class TestController : ApiController
{
    [HttpGet]
    public async Task A1()
    {
        var t1 = Task.Factory.StartNew(() => { throw new Exception("E1"); });
        var t2 = Task.Factory.StartNew(() => { throw new Exception("E2"); });
        await Task.WhenAll(t1, t2);
    }

    [HttpGet]
    public Task A2()
    {
        var t1 = Task.Factory.StartNew(() => { throw new Exception("E1"); });
        var t2 = Task.Factory.StartNew(() => { throw new Exception("E2"); });
        return Task.WhenAll(t1, t2);
    }
}

public class ApiExceptionHandler : ExceptionFilterAttribute
{
    public override void OnException(HttpActionExecutedContext actionExecutedContext)
    {
        var e = actionExecutedContext.Exception;

        // В обоих реализациях, с await и без него, приходит только E1. Где E2? 
        // Где нормальный AggregateException? Кто его съел?
    }
}

#region Assembly System.Web.Http.dll, v5.1.0.0
// xxxxx\packages\Microsoft.AspNet.WebApi.Core.5.1.2\lib\net45\System.Web.Http.dll
#endregion

public async Task A1()

public async void A1()

        [HttpGet]
        public Task A2()
        {
            var t1 = Task.Factory.StartNew(() => 
            { 
                Thread.Sleep(5000); // <== 5 секунд
                throw new Exception("E1"); 
            });

            var t2 = Task.Factory.StartNew(() => { throw new Exception("E2"); });

            return Task
                .WhenAll(t1, t2)
                .ContinueWith(t =>
                {
                    // Через 5 секунд запускается продолжение.

                    if (t.Exception != null)
                        throw new AggregateException(t.Exception.InnerExceptions); // <== Тут, как и обещалось MSDNом, две ошибки.
                });
        }