Наиболее распространенными методами применительно к большим системам являются итерационные методы, использующие разложение матрицы на сумму матриц, и итерационные методы, использующие факторизацию матрицы, т.е. представление в виде произведения матриц.
Простая итерация: уравнение 
приводится к виду 
, например, следующим образом:
,
где 
и 
содержат произвольную матрицу коэффициентов, по возможности желательно близкую к 
.
Если выбрать A=H+Q так, чтобы у положительно определенной H легко находилась 
, тогда исходная система приводится к следующему удобному для итераций виду:
.
В этом случае, при симметричной матрице A и положительно определенной Q итерационный процесс сходится при любом начальном 
.
Если взять H в виде диагональной матрицы D= 
, в которой лишь на главной диагонали расположены ненулевые компоненты, то этот частный случай называется итерационным методом Якоби.
