Объемная задача в Математике-5. Через некоторое время вылезает сообщение «no memory», по диспетчеру задач — переполнение файла подкачки. Увеличил до 2 Гб. Не помогает. Что делать?

Дефрагментируй память прямо во время работы этой самой Математики-5. С этим справится почти любая приличная программа, например, PowerStrip или System Mechanic.

Так может, задача просто зацикливается? Особенно, если используются какие-нибудь итерационные методы. Можно, конечно, поставить размер файла подкачки на выбор системы, т.е. динамическим, но если и тут будет переполнение, тогда одно из трех: или неправильно выбран шаг итерации, или задача неправильно составлена, или нужен суперкомпьютер - из тех, что считают параметры ядерных взрывов в реальном времени.

Очевидно, что размерность задачи слишком велика, или велика точность, с которой должен быть получен результат. Попробуйте упростить задачу или решить её в несколько этапов.