<input type="button" value="Cancel" id="cancelButton" onclick="window.history.back()" />

function openWindow() {
	var dialogMessage = $("#dialog-message");
	$.ajax({
		 ...
		success: function (data) {
			dialogMessage.html(data);
			dialogMessage.dialog();

			var cancelButton = $("#dialog-message").find("#cancelButton");
			cancelButton.on("click", function (e) {
				// вот этой строчкой пытался отменить, но ничего не вышло
				// как назад по истории уходил так и уходит
				e.preventDefault();
				dialogMessage.dialog("close");
			});
		}
	});
}