Вписываем в файл /etc/init/gdm.conf строчку:
and runlevel [5]
это условия старта иксов. Для старта иксов нужен 5 runlevel а на этапе загрузки он ещё только второй.

start on (filesystem
and runlevel [5]
and started dbus
and (drm-device-added card0 PRIMARY_DEVICE_FOR_DISPLAY=1
or stopped udevtrigger))
stop on runlevel [016]

Таким образом мы не загружаем иксов. Для их запуска логинимся и выполняем команду startx.