Схематично построим график (см.рис.) точка имеет координаты (x;y) По графику видно, что верхняя правая вершина прямоугольника будет лежать на графике функции, если вершина будет иметь координаты (3;y) так как эта точка лежит на графике, ее координаты обращают функцию в верное равенство y=17-x²=17-3²=17-9=8
Получилась точка (3;8) -верхняя правая вершина прямоугольника
теперь найдем диагональ прямоугольника (синим цветом показана) по формуле:
одним концом диагонали является точка (-3;0) - другим (3;8)
А)
Если
, то для х ∈ 3ч. :
Значит на тригонометрической окружности точки
и
совпадают, поэтому решением системы будет 
Б)
На промежутке [0;2π] корнем системы будет:
Значит на промежутке [-4π;-2π] корень будет:
Заданный в условии промежуток не ограничивает корень системы на промежутке [-4π;-2π].
ответ: А)
Б)