Применим формулу cos(2α)=1-2cos²α к cos(4x): cos(4x)=1-2cos(2x). Тогда уравнение перепишется так: (2cos²(2x)-cos(2x)-1)²=4+cos²(3x) cos(2x), как и косинус любого другого угла, принимает значения от -1 до 1 включительно. Тогда (2cos²(2x)-cos(2x)-1)² принимает значения от 0 (когда cos2x=1) до 4 (когда cos2x=-1) включительно. Но 4+cos²(3x)≥4,а значит, раз левая часть всегда меньше или равна 4, а правая больше или равна 4, равенство возможно только тогда когда обе части равны 4. Получаем систему: {4+cos²(3x)=4 {(2cos²(2x)-cos(2x)-1)²=4 Из второго уравнения, с учетом выше написанного, сразу получаем cos2x=-1. Отсюда 2x=π+2πn x=π/2+πn, где n - любое целое число. Эта серия корней удовлетворяет и первому уравнению системы, поэтому это и есть решение. Теперь надо отобрать наименьший положительный корень. Это очевидно π/2 или 90°. А вот и годный сайтик для обучения: http://mathus.ru/math/. Внизу есть раздел "Базовый курс математики", а в нем "Тригонометрия".
Должно сработать. Если нет, то напиши.