Используем два факта:
1) Если три последовательных числа являются членом арифметической прогрессии, то среднее является средним арифметическим:
2) То же самое с геометрической прогрессией — там средним геометрическим:
Поработаем со вторым уравнением, используя первое:
Первое уравнение нам больше не нужно. Упростим уравнения (2) и (3):
Используем обратную теорему Виета, где второй член равен сумме корней, взятой со знаком минус, а третий член — произведению:
Я сразу по теореме Виета вижу корни: 
, 
. Можете решить через дискриминант.
В итоге получили, что 
либо 
(ещё из условия было видно, что обе прогрессии симметричны относительно убывания/возрастания).
ответ: 18, 5, 2 либо 2, 5, 18.
Пусть сторона квадрата х см, тогда длина прямоугольника (3х) см, а ширина прямоугольника - (х - 5) см.
Т.к. площадь квадрата находят по формуле S = а², где а - сторона квадрата, о площадь данного квадрата равна (х²) см².
А т.к площадь прямоугольника находят по формуле S = a · b, где a и b - длина и ширина прямоугольника, то площадь данного прямоугольника будет равна S = 3х · (х - 5) = 3х² - 15х (см²).
Т.к. площадь квадрата на 50 см² меньше площади прямоугольника, то составим и решим уравнение:
3x² - 15х = x² + 50,
3x² - x² - 15x - 50 = 0,
2x² - 15x - 50 = 0,
D = (-15)² - 4 · 2 · (-50) = 225 + 400 = 625 ; √625 = 25,
x₁ = (15 + 25)/(2 · 2) = 40/4 = 10,
x₂ = (15 - 25)/(2 · 2) = -10·/4 = -2,5 - не подходит по условию задачи.
Значит, сторона квадрата равна 10 см.
ответ: 10 см.