есть программа, Praat, http://www.fon.hum.uva.nl/praat/
мне бы хотелось сделать что-то подобное, но для андроид

суть программы Praat, записывать голос и показывать его параметры.
я хочу сделать тоже самое, только параметры сохранять в БД

самое главное что у них все получилось, ну в плане анализа голоса,
значит задача решаема, осталось только понять как они это сделали....и вот тут у меня пробел в знаниях, потому что раньше со звуком я никогда не работал :(

делать оприделять эмоцию на основе характеристик голоса это вторая часть проекта до которой еще нужно дожить.

на данный момент я получаю массив байтов с микрофона. Каждую секунду записи я получаю 8000 байт.
но я не знаю, что мне с ними делать. гугл все время выдает ссылки на FFT.
порывшись в различных проектах которые использовали FFT, я нашел эту формулу

private float[] spectrumAnalyz(float[] spectr) {
float Re;
float Im;
float[] spectruData = spectr;
float[] mySpectrum = new float[(spectruData.length / 2) - 1];
for (int i = 1, j = 0; i < spectruData.length / 2; i++, j++) {
Re = spectruData[2 * i];
Im = spectruData[2 * i + 1];
mySpectrum[j] = (float) Math.sqrt(Re * Re + Im * Im);
}
return mySpectrum;
}

я не знаю насколько она правильна, потому что достоверной информации так и не нашел, но в различных проектах используют именно ее.
как я понимаю, FFT раскладывает звуковую волну на гармоники. точнее на сумму гармоник. после применения формулы представленной выше, я получаю просто набор частот. (не понимаю зачем надо было сначла раскладывать на гармоники, а потом опять возвращать в частоты, может есть способ сразу в частоты? )

в итоге у меня есть float массив с частотами записи моего голоса. дальше я, используя гугл, нахожу формулу pitch 69+12*log2(F/440), где F - частота в Hz.

теперь у меня есть массив float который содержит информацию о pitch моего голоса. ну и дальше я нахожу мин, макс. среднее и среднее квадратичное.

задача с помощью android device отобразить характеристики голоса человека. то что я буду дальше делать с ними, это уже второй шаг. сейчас мне интересно правильно ли я понял и реализовал задачу ?

1024,

я знаю что это не вычисление БПФ. вычисление БПФ я сделал до этой функции.




у меня получается массив data который содержит вычисления БПФ. и мне нужно как-то их обработать.
БПФ возвращает массив комплексных чисел и я их потом перевожу в массив обычных. с помощью функции spectrumAnalyz

Реалист,

Полностью согласен, без теории далеко не уйдешь. Если можно, посоветуйте книги или сайты с теорией анализа звука и/или голоса.

x1ca4064,

Если я правильно понял, то это гармоники.

x1ca4064,

Данный вариант алгоритма преобразования Фурье использует для вычисления комплексные числа, что дает ощутимый прирост производительности. Такой алгоритм возвращает массив у которых i-й элемент это реальная часть, а i+1 это мнимая часть. Чтобы переобразовать комплексное число в один из типов данных поддерживаемый java нужно возвести в квардарт реальную и мнимую часть, сложить полученные числа, и потом под корень. В итоге получается тип данные поддерживаемый java над которым можно производить вычисления.

x1ca4064,

Не подумайте ничего такого, я никого не пытался убедить, просто рассказывал как я понимаю этот алгоритм.
Вы абослютно правы, я не доконца понимаю суть работы этого алгоритма (не факт что я вообще его правильно понимаю :( )


Лагман,

Лагманкстати, фурье даёт точность частот ближе к верхнему краю, полоса частот в которых хранится смысловая нагрузка человеческой речи, при окне бпф 1024-2048 отсчетов, будет занимать 2-3 нижних гармоники, из которых вы ничего не поймете. Чтобы выявить pitch вам нужно либо очень высокое разрешение сигнала, либо автокорреляционный анализ, который достаточно ресурсоемок, хотя даёт точные результаты именно по тональности.

А как я могу получить полосу частот в которой хранится смысловая нагрузка человеческой речи другим способом ? Может я придумываю велосипед и все давно уже реализовано?