По какому принципу работают программы запуска игр на Windows XP, которые созданы для работы в DOS или Windows 9x?

Эмуляция нужной операционной системы.

Если имеется в виду что-нибудь типа DosBox - тогда это просто эмуляция. Примерно также, как работают, скажем, эмуляторыSega или Dandy. Иными словами, на Вашей машине работает программа, имитирующая процессор, память, видеокарту,операционную систему другой платформы. И уже на этом виртуальном компьютере запускается игрушка.

XP создает защищенное адресное пространство, в котором запускается виртуальная DOS-машина. На ней игры и запускаются.