streetПроблема в том, что скорость скачивания начинается от 1Мбайт/сек и опускается до 30 кбайт/сек.Как и чем Вы это определили?

Вполне нормальное поведение для Файрфокса, например :-)
Пока работает диалог сохранения файла, браузер уже качает. Отсюда и иллюзия высокой скорости в начале.

Увы, без тестов и ясного представления о сервере и его состоянии и о канале, можно обсуждать только сферическую отдачу в вакууме.

Если ве же грешите на сервер, тогда сделайте по нескольку тестовых скачиваний одного и того же большого файла:
- на клиентской машине.
- на сервере локально, чтоб исключить канал на всем его протяжении.
- на сервере локально, но отдачу файла непосредственно вебсервером (без участия php).
Качнуть можно накрайняк wget'ом с сохранением файла в /dev/null. Это исключит человеческий фактор взаимодействия с браузером.

Да, и не видно намеков на конфигурацию сервера - это физический выделенный сервер или впс или облако...

streetЛокально файл качается в считанные секунды.
streetНа клиентской машине скорость отдачи - 20 кбайт выбранного файла.
Как бы оно намекает либо на проблемы с каналом, либо на шейпер.