Скорее всего соединение по rtp при related не создается так как для udp нет понятия состояния(man по iptables ).
Пробовал подгрузить modprobe nf_conntrack_sip соединения тоже не создались, хотя в примерах которые видел было без использование
--dports 9000:10000 -j ACCEPT
.... почитаю еще ...