Это уже обсуждалось. Не записывается информация о временных таблицах в sysobjects текущей базы. Записи создаются в базе tempdb, но имена дополняются самим сервером, чтобы отличать таблицы с одинаковыми именами, но разными коннектами. Например у меня имя таблицы стало #Temp1

#Temp1______________________________________________________________________________________________________________00000000246D

Поэтому надо делать так

IF EXISTS(SELECT * FROM tempdb..sysobjects WHERE id = object_id(N'#Temp1') AND objectproperty(id, N'IsUserTable') = 1)
DROP TABLE #Temp1