Si VLC passe toutes les premières chaînes de la playlist et n'ouvre une vidéo qu'à partir de RTL9 c'est probablement que ton débit ne te permet pas de regarder les chaînes en MPEG2 mais uniquement les chaînes en MPEG4, c'est à dire les chaînes en bas débit.
L'adresse rtsp que tu donnes étant celle d'Arte, tu devrais essayer avec l'adresse suivante qui est la version bas débit (canal 457 dans la playlist) :
rtsp://mafreebox.freebox.fr/fbxtv_pub/stream?namespace=1&service=629
Il y a plus de 30 chaînes disponibles en bas débit : canaux 452 à 467 dans la playlist (elles sont clairement identifiées) et tu as également 13 chaînes du groupe AB (RTL9, AB Moteurs, AB1, etc.) qui sont également en MPEG4 dans la playlist (elles ne sont pas identifiées dans la playlist comme étant en bas débit, mais les flux sont bien en MPEG4).
Tu n'as donc pas de port à ouvrir et l'enregistrement avec VLC doit fonctionner, le tout est de prendre les bons flux.