Однородная система линейных уравнений всегда совместна. Она имеет нетривиальные (ненулевые) решения, если ранг матрицы меньше количества переменных.
а) 1: 1ю строку *2 3ю строку *2 2: из первой строки вычитаем вторую строку, умноженную на 5 из третьей строки вычитаем вторую строку, умноженную на 3 3: из первой строки вычитаем третью строку и располагаем строки в порядке убывания приведя матрицу к ступенчатому виду, видим, что её ранг равен трём и равен количеству переменных => СЛУ имеет только одно тривиальное (все переменные равны 0) решение
б)
1: из первой строки вычитаем удвоенную вторую строку из третьей строки вычитаем утроенную вторую строку 2: умножаем первую строку на -2 меняем местами первую и вторую строку 3: вычитаем из третьей строки вторую строку и меняем их местами, таким образом приводя матрицу к ступенчатому виду видим, что ранг матрицы равен 3 и равен количеству переменных => СЛУ имеет только одно тривиальное решение
Есть прямая, есть координаты ее начала и конца. " - давайте будем аккуратнее со словами, скажем, что не координаты начала и конца, а просто двух точек, лежащих на этой прямой. Я так понимаю, речь идёт о плоскости (потому что такая задача имеет смысл только на плоскости) и координаты - декартовы прямоугольные - уравнение прямой Ax+Bу+С=0, подставляя в него последовательно сначала координаты одной точки, потом второй, получим систему из 2-х уравнений - из неё находим А, В и С - в итоге получаем уравнение прямой, коэффициенты определяются неоднозначно, но две переменные можно выразить через третью - выберите так, чтобы B (коэффициент при у) было ПОЛОЖИТЕЛЬНЫМ (из-за этого и возникают у Вас противоречивые результаты - Вы это не учли) - и тогда, если подставите координаты точки, не лежащей на прямой в уравнение этой прямой, Ax+Bу+С>0 если точка лежит выше прямой и Ax+Bу+С<0, если ниже