Cоставим сначала уравнение плоскости, проходящей через ось ОУ и точку М(5,3,2).
Так как ось ОУ принадлежит искомой плоскости α, то любая точка, лежащая на оси ОУ, принадлежит плоскости α . В том числе и начало координат, точка О(0,0,0) ∈α .
Так как точка М(5,3,2)∈α , то и вектор ОМ∈α . Координаты вектора ОМ=(5,3,2) .
Также единичный вектор оси ОУ, вектор j=(0,1,0) , принадлежит плоскости α .
Можем записать нормальный вектор искомой плоскости α как векторное произведение векторов ОМ и j .
![\vec{n}=\Big [\, \overline {OM}\, ,\; \vec{j}\, \Big ]=\left|\begin{array}{ccc}\vec{i}&\vec{j}&\vec{k}\\5&3&2\\0&1&0\end{array}\right|=-2\vec{i}+5\vec{k}\\\\\\\lambda =-1\; \; \Rightarrow \; \; \; \; \vec{n}_1=\lambda \vec{n}=(2,0,-5)\\\\\alpha :\; \; A(x-x_0)+B(y-y_0)+C(z-z_0)=0\\\\2\cdot (x-5)+0\cdot (y-3)-5\cdot (z-2)=0\\\\\boxed {\alpha :\; \; 2x-5z=0}](/tpl/images/1007/7246/0300b.png)
Общие уравнения прямой, образованной пересечением двух заданных плоскостей имеют вид:

см. рисунок. Там сделали допостроения и обозначения.
СВ=х
АС=х-7
по т. Пифагора (х-7)²+х²=13²
отсюда х=12 (отрицательное значение ж не подходит)
х-7=5
Катеты будут 5 и 12.Напишем их зеленым на рисунке, чтоб удобнее было.
А теперь самое интересное.
Центр опис.окр. лежит на серединных перпендикулярах. Что и обозначено. Т.е. СМ=12/2=6
Дальше, ∠СОК - центральный для ∠СВК, значит он = 2α, тогда угол СОН в 2 раза меньше ( треугольник СОК равнобедр. с высотой ОН) и равен α. Обозначим зеленым.
Тогда ∠ОСМ=90-α-45=45-α
теперь из Δ ОСМ имеем R=CM/cos(45-α)
R=6/cos(45-α)
подставляя формулу косинуса разности получаем
cos(45-α)=cos45cosα+sin45sinα=√2/2(cosα+sinα)
но из первоначального треугольника, когда нашли его катеты, имеем
cosα=12/13
sinα=5/13
a cosα+sinα=12/13+5/13=17/13
cos(45-α)=17√2/26
и R=6/(17√2/26)=78√2/17
вроде так.