select
 ascii(convert('А','UTF8')) 
,ascii(convert('Б','UTF8')) 
,dump(convert('А','UTF8')) 
,dump(convert('Б','UTF8')) 
from dual;

with t as (select 'АаБб' s, 'AL32UTF8' tcs 
from dual union all select select 'АаБб' s, 'CL8MSWIN1251' tcs 
from dual union all select select 'АаБб' s, 'RU8PC866' tcs 
from dual
)
, t1 as (
select s, tcs
      , convert(substr(s,1,1),tcs) s1  -- конвертируем посимвольно
      , convert(substr(s,2,1),tcs) s2 
      , convert(substr(s,3,1),tcs) s3 
      , convert(substr(s,4,1),tcs) s4 
from t)
select s, tcs
      , to_number(utl_raw.cast_to_raw(s1)) n1
      , to_number(utl_raw.cast_to_raw(s2)) n2
      , to_number(utl_raw.cast_to_raw(s3)) n3
      , to_number(utl_raw.cast_to_raw(s4)) n4
from t1
;

S     TCS               N1     N2     N3     N4
----- ------------- ------ ------ ------ ------
АаБб  AL32UTF8       53392  53424  53393  53425 
АаБб  CL8MSWIN1251     192    224    193    225
АаБб  RU8PC866         128    160    129    161

with function f(p_elc varchar2, p_target_cs varchar2 default 'AL32UTF8') return number as
  r number := 0; c char(1 char); begin
  for i in 1..9 loop c := substr(p_elc, -i, 1) -- символы со 2 по десятый в обратном порядке
    ; r := r + i * case -- суммируем цифру либо код символа, домноженные на номер позиции справа налево
      when c in ('0','1','2','3','4','5','6','7','8','9') then to_number(c) -- цифра
      else to_number(utl_raw.cast_to_raw(convert(c,p_terget_cs)),'XXXXXXXXXXXX') -- код символа в кодировке p_target_cs
      end; end loop; return mod(r,10) -- вернем остаток от деления на 10
; end
; t as (-- тут пример исходных данных
select '40АА000177' elc
from dual union all select '?абвгодяёж'
from dual union all select '?АБВГОДЯЁЖ'
from dual
)
select elc, f(trim(elc)) X from t
;

ELC         X
---------- --
40АА000177  4
?абвгодяёж  1
?АБВГОДЯЁЖ  5