Столкнулся с вот какой заковыкой...

С сервера получаю JSON, это подгружаемые фрагменты для мобильной версии сайта. Сам сайт в UTF-8. Затем полученное пропускаю через json_decode в массив и элементы массива запихиваю в базу. База тоже в UTF-8. Всё хорошо, но иногда попадаются какие-то инородные символы, и тогда СУБД вертает ошибки такого вида:


Первые два байта \xF0\x9F одинаковы во всех сообщениях (из тех, что попадались, по крайней мере), вторые два - варьируются.

Собственно, вопрос. Есть какой-то не слишком сложный способ оставить в строке текста только однобайтовые символы и utf-8, а остальное заменить вопросиками или, накрайняк, вырезать?

preg_replace, конечно, вариант, но как правильно задать ограничения в регулярке - не соображу.

Изопропил, вона чё... Видимо, завис я на двухбайтовых utf-8 :)
Так понимаю, в моём случае достаточно будет сменить в мускуле utf8_unicode_ci на utf8mb4_unicode_ci.
Тогда вопрос снимается, спасибо большое!

vkleТак понимаю, в моём случае достаточно будет сменить в мускуле utf8_unicode_ci на utf8mb4_unicode_ci.
Увы и ах, поспешил обрадоваться. Установка кодировок и таблицы и полей в utf8mb4_unicode_ci не возымела положительного действия. Может, мускуль кажет в сообщении об ошибке не на конкретный проблемный символ, а на начало строки, имеющей проблемные коды? Если так, то эти \xF0\x9F** просто ввели меня в заблуждение и вопрос следует как-то иначе ставить.

Кстати, поглядев ошибки, обнаружил ещё и такое:


Тут от соседнего символа \xE2 ещё торчит...

Так что, вопрос о замене не-ютф-8 остаётся в силе.


Изопропил
Выражение написать не проблема. Проблема узнать (или осознать) границы диапазонов для подмены. Не настолько силён в юникодах, но подозреваю, что таким вот образом вряд ли удастся правильно или коректно выпилить непотребное. Или надо быть достаточно сильным специалистом по юникодам, коим я не являюсь.

Может быть, даже стОит переформулировать исходную задачу как-то так: убрать из строки всё "неудобоваримое для мускуля в utf8".

Изопропилсоединение с базойТьхутэ, забыл совсем про него... Спать надо по ночам, однако, а не косяки отлаживать... Поправил - есть контакт!


Изопропил\xE2 - - 1110xxxx
это трёхбайтовые, выпиливаются соответственно "([\xe0-\xef]..)"Да, но, если какой-то \xe0 окажется не первым байтом символа, а, скажем, вторым байтом двухбайтового... Тогда получится, что такой прямой заменой порюхаются два символа. Сложность вижу не столько в замене, сколько в определении правильного диапазона байтов в строке для замены, позиции начала и конца. Скажем, первый символ может быть в один байт, второй - три, третий - два... Сам юникод так построен, что символы у него переменной длины. Так понимаю, что если проходить строчку с начала, распознавая каждый байт - то можно находить и каждый отдельный символ, какой диапазон байт в строке он занимает. Регексп прикладывает шаблон, каждый раз сдвигая его на одну позицию в строке. Совпал первый байт - проверяется второй, потом третий. Если начало шаблона попало, скажем на второй байт символа или на третий, а следующие два совпали... Фигня получается. Не?

Изопропил, чертёж годный, многое проясняет. Спасибо!