X Server ohne Desktop? dann würd's wohl kaum x11VNC (VNC!) heissen.. (Probieren geht über studieren, dauert ca. 5min und du weißt obs dir was bringt)
Dieses xfrb (krfb?) Gedöhns hab ich mal ausprobiert, hatte am Client allerdings nur bunte Farben und konnte nichts bedienen...
Was du meinst is wohl X-Tunneling über SSH und hat mit x11VNC nix zu tun...
Also, probiers aus, was hast du zu verlieren?
Wenns net klappt, kannst dus ja wieder runterschmeissen