В математике ничего не говорится про деление матриц и векторов, однако в MatLab символ \ используется для решения систем линейных уравнений. Решим систему из трех уравнений с тремя неизвестными:

Введем матрицу коэффициентов системы в массив A, а вектор правой части системы в массив b. Решим систему при помощи символа \ (если вы не знаете, как вводятся матрицы, просмотрите урок Работа с матрицами в MatLab)
» x = A\b
x =
1.0000
1.0000
1.0000
Проверьте правильность ответа, умножив матрицу коэффициентов системы A на вектор-столбец x.