Отвечает mikev:
Драйвер видеокарты "берет" настройки из реестра, которые туда пишутся при установке драйвера. Если записи в реестр инсталлятор прописал некорректно, то и режимы работы видеокарты будут устанавливаться неправильно. Другая причина - просто "кривые" драйверы. Что касается "Windowsне причем", то в данной ситуации такое утверждение выглядит двусмысленно, учитывая сказанное выше.
Отвечает TU-154:
Надо проверить GPU видеокарты на предмет перегрева - похоже, в тяжелых режимах работы он перегревается, при необходимости оптимизировать охлаждение, заменить термопасту или понизить частоту его работы.