sip video & JsSIP & websocket

[ys1797]

"Доброе утро товарищи"

Вообщем я о чем хочу поднять тему.
Вдруг тоже кто-то грызет означенную тему.
Запустив свеженький http://tryit.jssip.net и получив INVITE пакетик размером 4.8 кб (с хрома) я открыл для себя еше пяток RFC (и один coredump)

Как я понял, вся эта масса RTP/RTCP экстеншенов предназначена для того чтобы , грубо говоря, губы на видео синхронизировались со звуком.
Кто-нить видел что-то опсосное, которое это SDP вообще может переварить?

Заинтересовал алгоритм с меткой абсолютного времени. Но, что дропать?
Если звук отстает от видео, что дропать звук, но тогда может в пролете нужная фраза отказаться?
Если видео отстает от звука, тут да - дропнем кучку кадров, никто и не заметил.

Порадовал групинг, rtcp-mux и rtcp-fb, но пока опять-же не видел опсосных Фреймворков для этих целей (на C).
Может кто видел?

[Vlad1983]

возможно это https://code.google.com/p/telepresence/ переваривает
"RTCP Feedbacks (NACK, PLI, FIR, TMMBN, REMB…) for better video experience"
не оно?

[ys1797]

Ага.
Как я понял ноги растут в https://code.google.com/p/doubango/
Поковыряю на днях это дело

[ys1797]

Про webrtc понятно.
Я смотрю на телепрезенц. У него через врапер прикручен Doubango v2.x, и через него обеспечивается медийная часть rtp/rtcp и некоторые фичи.

[ys1797]

Толи мы в разные углы смотрим, толи еще что, но про дубангу написано, что оно:

3GPP IMS (IP Multimedia Subsystem) is the next generation network for delivering IP multimedia services. IMS is standardized by the 3rd Generation Partnership Project (3GPP).
....
The framework is written in ANSI-C to ease portability and has been carefully designed to efficiently work on embedded systems with limited memory and low computing power and to be extremely portable.

Меня собственно интересует не то на чем написано, хотя, конечно нативный C удобнее портируется.
Интерес вызывает именно алгоритмика обработки различных ситуаций.


Вон фича телепрезенца - единый видео энкодер для всех респондентов с одинаковым видеокодеком, но тут и минус, как только кто-то попросил I-Frame, он полетел всем сразу.
Фича 3D саунда не нашла во мне отклика
Миксер стереоканала в моно и обратно с ресемплингом - тоже интересна.