Метод Гаусса-Зейделя отличается тем, что исходная матрица представляется суммой трех матриц:
.
Подстановка в и несложные эквивалентные преобразования приводят к следующей итерационной процедуре:
.
Различают две модификации: одновременную подстановку и последовательную. В первой модификации очередная подстановка выполняется тогда, когда будут вычислены все компоненты нового вектора. Во второй модификации очередная подстановка вектора выполняется в тот момент, когда будет вычислена очередная компонента текущего вектора. В векторно-матричной форме записи последовательная подстановка метода Гаусса-Зейделя выглядит так:
.
Вторая форма требует существенно меньшее число итераций.