Так как окружность касания осей координат, то для координат ее центра и радиуса окружности справделиво равенство
учитывая, что окружность проходит через точку (8;-4) опускаем модуль (окружность за исключением точек касания находится в IV четверти) 
уравнение окружности имеет вид (x-x_0)^2+(y-y_0)^2=R^2
;
R=20 или R=4
значит существуют две окружности проходящие через точку (8;-4) и касающееся осей координат

и 
вторая задача, пряммая симетричная относительно точек А и В - середнинный перпендикуляр
Ищем координаты середины отрезка АВ,

(0;2)
ищем уравнение пряммой АВ в виде y=kx+b
3=-2k+b;
1=2k+b;
2=-4k
1=2k+b;
k=-0.5
b=2;
y=-0.5x+2
перпендикулярные пряммые связаны соотношением угловых коэффициентов
k_1k_2=-1
поєтому угловой коєффициент искомой пряммой равен k=-1/(-0.5)=2
учитывая что искомая пряммая проходит через точку С ищем ее уравнение в виде
y=kx+b (k=2)
2=2*0+b;
b=2
y=2x+2 или y-2x-2=0
в чем ошибка у вас - неведомо, ибо вы своего решения не предоставили
Если рассмотреть треугольник SOC где О - центр основания, этот треугольник лежит в плоскости ACF, то ОС = (1/2)*SO это задано в условии. Обозначим ОС как х.
Если провести в треугольнике SOC (очень рекомендую сейчас нарисовать плоский чертеж этого треугольника) через точку F прямую II ОС до пересечения с SO (обозначим точку пересечения с SO как Р), то FP = x*3/4; PO = (1/4)*(2*x) = x/2;
Отсюда по теореме Пифагора находим ОF = корень((x*3/4)^2 + (x/2)^2) =
= х*корень(13)/4;
Поскольку BO перпендикулярно плоскости ACF (в этой плоскости есть 2 прямые, заведомо перпендикулярнные ВО - это AC и SO), то котангенс искомого угла равен ОF/BO, а ВО = х. Отсюда сразу ответ
корень(13)/4