Проверим, лежит ли точка А(5,-3) на какой-либо заданной высоте. Подставим координаты этой точки в уравнения высот. Если равенство получим верное, то точка лежит на прямой.
Точка А(5,-3) не лежит ни на одной высоте. Для определённости, пусть высота BN имеет уравнение 2х-у-1=0, а высота СМ: 13х+4у-7=0.
BN⊥AC ⇒ направляющий вектор для АС равен нормальному вектору для BN: 
.
Точка А(5,-3)∈АС и уравнение АС имеет вид:
CM⊥AB ⇒ направляющий вектор для АВ равен нормальному вектору для CМ: 
.
Точка А(5,-3)∈АВ и уравнение АВ имеет вид:
Координаты точки В найдём как точку пересечения АВ и BN, а координаты точки С найдём как точку пересечения АС и CM .
1) R^2=OB^2=OC^2+CB^2=21^2+28^2=1225
R=√1225=35 дм
2) S=пR^2=п×35^2=1225п дм^2