Проверим, лежит ли точка А(5,-3) на какой-либо заданной высоте. Подставим координаты этой точки в уравнения высот. Если равенство получим верное, то точка лежит на прямой.
Точка А(5,-3) не лежит ни на одной высоте. Для определённости, пусть высота BN имеет уравнение 2х-у-1=0, а высота СМ: 13х+4у-7=0.
BN⊥AC ⇒ направляющий вектор для АС равен нормальному вектору для BN: 
.
Точка А(5,-3)∈АС и уравнение АС имеет вид:
CM⊥AB ⇒ направляющий вектор для АВ равен нормальному вектору для CМ: 
.
Точка А(5,-3)∈АВ и уравнение АВ имеет вид:
Координаты точки В найдём как точку пересечения АВ и BN, а координаты точки С найдём как точку пересечения АС и CM .
Мне не нравится обозначение радиусов, я их буду обозначать r1, r2, r3;
Окружность, вписанная в исходный треугольник (её радиус я обозначу просто r), является вневписанной для каждого из трех отсеченных. Если построить вневписанные окружности к исходному треугольнику, с радиусами ρ1, ρ2, ρ3; то очевидно (в силу подобия отсеченных треугольников исходному) будут выполнены пропорции
ρ1/r = r/r1; и то же самое для двух других.
то есть ρ1 = r^2/r1; ρ2 = r^2/r2; ρ3 = r^2/r3;
Остается подставить это в известные соотношения
1/r = 1/ρ1 + 1/ρ2 + 1/ρ3; то есть r = r1 + r2 + r3;
и
4R = ρ1 + ρ2 + ρ3 - r; где R - радиус описанной окружности.
то есть 4R = r^2*(1/r1 + 1/r2 + 1/r3 - 1/r); r = r1 + r2 + r3;
это все.
Я бы конечно мог привести вывод этих формул, но Вам бы никогда не задали эту задачу, если бы не выводили их на занятиях.
К примеру, площадь S исходного треугольника равна
S = (p - a)*ρ1 = (p - b)*ρ2 = (p - c)*ρ3 = p*r; откуда
1/ρ1 + 1/ρ2 + 1/ρ3 = (p - a)/S + (p - b)/S + ( p - c)/2 = (3p - a - b - c)/S = p/S = 1/r;
Вывод формулы для R намного сложнее технически, но по сути - то же самое.