START TRANSACTION;
SELECT * FROM `balances` WHERE id=1 FOR UPDATE;
...
// если существует запись, делается UPDATE - с этим проблем нет, т.к. существующая запись блокируется SELECT-ом в начале транзакции
UPDATE `balances` SET `balance` = `balance`+10 WHERE `id` = 1;

// если записи нет,  делается INSERT - вот тут появляется deadlock, если до этого момента началась вторая транзакция, т.к. SELECT в начале транзакции ничего не заблокировал
INSERT INTO `balances` (`id`, `balance`) VALUES (1, 10.00);

COMMMIT;

CREATE TABLE IF NOT EXISTS `balances` (
  `id` int(1) NOT NULL,
  `balance` int(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

transaction 1> start transaction;
Query OK, 0 rows affected (0.00 sec)

transaction 1> select * from balances where id=5 for update;
Empty set (0.00 sec)


transaction 2> start transaction;
Query OK, 0 rows affected (0.00 sec)

transaction 2> select * from balances where id=10 for update;
Empty set (0.01 sec)

transaction 2> insert into balances (id, balance) values (10,10);
// висит ...

transaction 1> insert into balances (id, balance) values (5,5);
ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

// вторая транзакция после делока первой, выполнилась
Query OK, 1 row affected (9.14 sec)

SET TRANSACTION ISOLATION LEVEL READ COMMITTED;

insert into balances (id, balance) values (1,10) ON DUPLICATE KEY UPDATE balance = balance+10;