Методом проб и нескольких переустановок OpenSolaris определилось что удаляя NVDAgraphics используя пакетную систему IPS пакет NVDAgraphicsr остаётся, но про него IPS ничего не сообщает.
Решается примерно так:
Создаём директории
$ pfexec mkdir /var/sadm/pkg/NVDAgraphics/install
$ pfexec mkdir /var/sadm/pkg/NVDAgraphicsr/install
Редактируем, добавляя первой строкой CLASSES=none
$ pfexec vi /var/sadm/pkg/NVDAgraphicsr/pkginfo
$ pfexec vi /var/sadm/pkg/NVDAgraphics/pkginfo
Останавливаем X-сервер
$ pfexec svcadm disable gdm
Удаляем видеодрайер
$ pfexec pkgrm NVDAgraphicsr NVDAgraphics
Удаляем данные из пакетной системы IPS
$ pfexec pkg uninstall NVDAgraphics
Устанавливаем видеодрайвер NVIDIA
$ pfexec sh ./NVIDIA-Solaris-x86-173.14.27.run
Перезагузка системы
$ pfexec reboot -- -r
Настраиваем xorg.conf
$ cd /etc/X11
$ pfexec mv xorg.conf xorg.conf.old
$ pfexec nvidia-xconfig
Запускаем X-сервер
$ pfexec svcadm enable gdm