Además se completa la operación, eliminando el último número tipeado.
$('input[type=number]').on('keydown', function(e) {
var key = e.which || e.keyCode || e.charCode;
if (key === 8) {
var s = $(this).val();
s = s.substring(0, s.length - 1);
$(this).val(s);
return false;
}
});