Galera, andei ralando para configurar modo gráfico no Debian, então estou postando aqui, de repente pode acontecer o mesmo que aconteceu comigo e a dica possa vir a ajudar.

Instalei o KDE e na tentativa de iniciar o modo gráfico aparecia a seguinte mensagem:

"/usr/X11R6/lib/X11/xinit/xserverrc: /usr/bin/X11/X No such file or directory"
"/usr/X11R6/lib/X11/xint/xserverrc: exec: /usr/bin/X11/X: cannot execute: No such file or directory giving up"
"xinit: No such file or directory (errno 2): unable to connect to X server"
"xinit: No such process (errno 3): Server error"

Faça o seguinte:

# apt-get install x-window-system

E depois:

# dpkg-reconfigure xserver-xfree86