_NovichokА теперь по делу: попробовал MD5 хеш, не подходит, поскольку нагружает процессор и использует памяти не на много меньше, и расчеты идут достаточно медленно
Мой вариант не заинтересовал? 20971320
Если вместо hash_t взять UInt64 то получится 64-битный хэш и считать будет быстро, т.к. не требуется конвертации в Byte[].

_NovichokПроблема в следующем:
В программе обрабатываются строки, строки могут быть и короткими по нескольку символов, а могут быть и десятки тысяч. Строки могут дублироваться, поэтому разумно обработать один раз строку и запомнить, что строка уже обрабатывалась. Когда приходит такая же строка, то выдается предыдущий результат. Из-за этого уменьшается время работы программы за счет обработки только уникальных строк. Чтобы запомнить строку, можно использовать ее в качестве того самого хеша, но т.к. строки могут быть длинными, то это будет больно бить по памяти. Сохраненное значение этой строки (или ее хеш) используется только для того, чтобы обозначить, что такая строка уже приходила. Соответственно и ищется подход для идентификации строки более легковесным ключом, чем сама строка. Время создания этого ключа тоже не должно быть продолжительным.
Тут еще бы статистику: строк в кэше, какая доля повторных запросов?

Как вариант: оставить родной 32-битный хэш, но дополнительно считать 64-битный хэш


По 64-битному дополнительная проверка, не совпало - отправка строки на обработку.
Можно и до 128 расширить: вторую половину считать при не нулевом h, например h = 123456789098765;
Но расширяя битность автоматом увеличиваешь занимаемую память.

Для управления памятью можно какой-нибудь спец.класс использовать. Например MemoryCache
Как вариант, можно посмотреть на готовые решения: Memcached

Roman Mejtesда всё это бумагомарательство, автор пишет, что текст представляет собой обычный человеческий текст, значит уровень энтропии данных очень низкий и вероятность выпадания 2 строк с одинаковым хеш кодом крайне мала. Вы пытаетесь решать проблему, которой нет. Даже количество символов в человеческом тексте явно меньше 256\65536.
Ту забыл количество символов в строке учесть, например если использовано 64 варианта символов, то комбинациями всего из 6 символов можно получить все возможные 32 битные хэши, для 64 надо 11 символов.