Сначала AMD Radeon поддерживал OpenCL, но потом перешли на HiP (клон CUDA).
Кто-то ещё пробует Ocelot (запуск CUDA-программ на AMD-GPU без рекомпиляции).

- OpenCL плох тем, что его разрабатывают куча компаний AMD, Apple, Intel, Altera ..., и даже если ты реализовал очень крутую фичу в железе, то без одобрения большинства компаний невозможно добавить её в OpenCL (а большинство крутых фич в AMD Radeon невозможно или ненужно в Intel CPU / Apple iPhone SOC / ...).
- HiP плох тем, что у AMD недостаточно денег, чтобы даже сделать клон CUDA
- Ocelot плох тем, что похоже лет 5 не разрабатывался: https://github.com/gtcasl/gpuocelot
- CUDA для кого то плох, что это не Open Source проект

Сравнение команд CUDA, OpenCL, HIP, ... https://github.com/ROCm-Developer-Tools/HIP/blob/master/docs/markdown/hip_terms.md


Большинство фреймворков Machine learning / Deep learning поддерживают CUDA, но не поддерживают OpenCL, а даже там где поддерживается - OpenCL работает в 5 раз медленнее: https://en.wikipedia.org/wiki/Comparison_of_deep-learning_software

You are here: Home / Analysis / Run CUDA without Recompilation on x86, AMD GPUs, and Intel Xeon Phi with gpuOcelot
Run CUDA without Recompilation on x86, AMD GPUs, and Intel Xeon Phi with gpuOcelot: http://www.techenablement.com/run-cuda-without-recompilation-on-x86-amd-gpus-and-intel-xeon-phi-with-gpuocelot/

CUDA басплатна, и распространение её библиотек бесплатно в составе своего софта: https://nvidia.custhelp.com/app/answers/detail/a_id/2134/~/how-much-does-cuda-cost?

OpenMP - крайне ограничен функционал, преимущественно только для CPU и циклов, за редким исключением.


Специальные процессора для нейронок это VPU/TPU.

Для нейронок есть nVidia GPU и VPU/TPU:
1. GPU:
- nVidia V100 - 125 TOPS-16bit
- nVidia A100 - 312 TOPS-16bit / 624 TOPS-8bit A100 wiki
2. TPU:
- Google TPU - 90 TOPS-16bit (только TensorFlow framework)
- Huawei Ascend - 256 TOPS-16bit (только MindSpore framework)
- Tesla-motors TPU - 4x36=144 TOPS- 8bit (только Pytorch framework)
- Intel Myriad X - 1 TOPS-16bit (только OpenCV/OpenVINO framework)

Как видно nVidia GPU примерно в 1.5х - 4.3х раза мощнее, чем TPU.
nVidia GPU работает на всех фреймворках машинного обучения, в то время как каждый TPU поддерживает только 1 фреймворк.

Было предположение, что FLOPS у TPU мало, но зато они как-то лучше поддерживают специальные операции, буд-то SE, Grouped / Depthwise convolutional, ..., а оказалось нет , о чем сами и заявили: https://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html

TPU это обычные ASIC которые быстро делают перемножение матриц GEMM из Linpack:
- Float 32bit/16bit, Int 8bit, и бинарные операции 1bit
- Математические функции над массивом

В GPU (Volta, Turing, Ampere) встроены те же TPU - называются там Tensor Cores.

Ничего там нечеткого ещё не придумали, в Hardware далеко не ушли.
Это в software далеко ушли - в machine-learning хороший рывок точности за счет deep-learning.
DPM - это лучший не нейроновский алгоритм, все остальные это deep-learning алгоритмы: https://arxiv.org/pdf/1905.05055v2.pdf

По оси x - год разработки алгоритма.
По оси y (на первом графике) - mAP - mean average precision: mAP
По оси y (на втором графике) - Top5 classification accuracy - https://stackoverflow.com/a/37670482/1558037

TOPS - Tera-Operations per second и затем указываются операции (сложение и умножение) с какими именно числами Float 32bit ... int 8bit.
Для Float 64/32/16bit ещё бывает применяют аббревиатуру TFLOPS.

NPU/VPU/TPU - это просто маркетинговые названия, и все из них содержат Tensor Cores.
Единственный выделяется нейроморфный чип IBM True North. Сравнение производительности остальных чипов на GEMM:

- GPU nVidia A100 - 312 TOPS float-16bit / 624 TOPS int-8bit A100

- Mobileye EyeQ5 - 24 TOPS float-16bit
- IBM TrueNorth - 0.046 TOPS int-10bit (нейроморфный, экспериментальный, медленный)
- Cerebras Wafer Scale Engine - (экспериментальный, нет возможности использовать)
- Qualcomm cloud AI 100 - 350 TOPS ( анонсирован, но не вышел ) https://habrastorage.org/webt/vm/__/u4/vm__u4da0mcfd7dtyjixwrjuacg.jpeg
- Intel Nervana NNP - проект закрыт, в пользу Habana Labs GOYA
- Habana Labs GOYA - ~250 TOPS float-16bit - Для поддержки GOYA нужен отдельный бэкенд GLOW https://github.com/pytorch/glow/pull/2638?fbclid=IwAR20kAPhhgy1VaySHHGNh53mnsKo9xmmBmFNfJwUt4fUQYzml2JUqzokh4c эта поддержка пока экспериментальная и все равно GOYA медленнее, чем GPU A100.

Анонсированные недавно Qualcomm cloud AI 100 и Habana Labs GOYA наиболее интересны с точки зрения маркетинга, т.к. показывают высокую производительность на бумаге и обещают поддержку фреймворков: Pytorch, MXNet, TensorFlow, ONNX.

А все эти нейроморфные/квантовые/... - пока только экспериментальные/медленные/ничего не поддерживающие.

Т.е. из вышедших (а не анонсированных) NPU/VPU/TPU нет ни одного быстрее, чем nVidia GPU A100.

+wiki
в 56.7 раз больше, а работает медленнее?
и использовать его таки можно:
авторПохоже, инженерам Cerebras Systems и TSMC удалось решить эти проблемы. 18 ноября 2019 года на конференции Supercomputing 2019 они официально представили CS-1 — «самый быстрый в мире компьютер для расчётов в области машинного обучения и искусственного интеллекта».

Первые экземпляры CS-1 уже отправлены заказчикам. Один из них установлен в Аргоннской национальной лаборатории министерства энергетики США, той самой, в которой скоро начнётся сборка самого мощного в США суперкомпьютера из модулей Aurora на новой архитектуре GPU от Intel. Другим заказчиком стала Ливерморская национальная лаборатория.

Как попробуете сами использовать - пишите.
Это экспериментальные мелкотиражные чипы для нескольких суперкомпьютеров в мире, с потреблением 17 кВт на 1 чип, 17 тысяч Ватт на 1 кристалл.
Их будут использовать 2 человека на всю планету и производительность там наверняка ниже, чем на множестве GPU с общим TDP 17 кВт.



Уже 3 года как в nVidia GPU встраивают Tensor Cores для ИИ и затачивают GPU именно под ИИ, а только во вторую очередь под графику, об этом говорит и встроенные Tensor Cores, и реальная производительность GPU на ИИ, и те достоинства которые в первую очередь описывают:
https://developer.nvidia.com/discover/artificial-neural-network Тензорные ядра третьего поколения
Впервые реализованная в архитектуре NVIDIA Volta™ технология тензорных ядер NVIDIA значительно ускоряет инференс и позволяет обучить алгоритмы ИИ за несколько часов, а не недель.
https://www.nvidia.com/ru-ru/data-center/a100/ Ускорение важнейших задач современности
GPU NVIDIA A100 с тензорными ядрами обеспечивает непревзойденное ускорение для ИИ, анализа данных и высокопроизводительных вычислений (HPC) для решения самых сложных вычислительных задач.
...
Тренировка алгоритмов глубокого обучения
...
Инференс глубокого обучения
...

Cerebras Wafer Scale Engine с площадью 46 225 мм2 интересен тем, что впервые пытаются радикально скейлить нейрочип по площади кристалла, а не по частотам. Потому что сейчас тех процесс 12нм, а диаметр атома кремния составляет всего лишь 0,24 нм, меньше атома кремния транзистор сделать не смогут. Соответственно скоро останется два единственных варианта: увеличивать площадь чипа, придумывать принципиально новые типы вычислителей (квантовые, оптические, троичные, с нечеткой логикой, ...). Но придумать принципиально новый вычислитель сложно, поэтому долго будут выезжать за счет увеличения размера чипа, как в Cerebras Wafer Scale Engine.

А пока до этого дойдет, может быть искусственный интеллект будет тупее человека в 99% задачах, а может и умнее.
Почему рост должен производительности компов должен остановиться именно в 2030-2040 годах, а не раньше или позже?
Именно эмулировать мозг, я думаю, ещё долго не смогут, а вот сделать на металлоломе ИИ который выполняет 99% задач лучше, чем человек уже лет через 20 смогут.