Enfim, vamos tentar mais algumas coisas. O que você terá que fazer é usar driver "genérico" para poder subir o X. Vamos tentar configurar o SCFB. Porém, este e os demais "genéricos" não possuem aceleração de hardware.
Dito isto, antes de tudo vamos mexer com a configuração do mouse para que funcione a contento com o X. No arquivo de configuração do Xorg no diretório /etc/X11, na seção "InputDevice" deixe assim:
Normalmente não seria necessário ter esta configuração do Xorg no /usr/local/etc/X11/, pois usando o vt e este driver, em tese tudo deveria funcionar. Se quiser tentar sem o arquivo de configuração do Xorg, basta apenas criar o arquivo /usr/local/etc/X11/xorg.conf.d/driver-scfb.conf e incluir o seguinte: