Ну насчет столбиком шутки шутками, а ведь можно делить многочлен на многочлен уголком, только в LaTeX это особо не распишешь. А вот разложить на множители вполне можно.
Сначала займемся числителем:
Здесь часто использовался метод искусственного добавления и вычитания слагаемых для вынесения за скобки общих множителей (в виде скобок). Вот каких - дело опыта, но имея опыт с нахождением корней многочленов высоких степеней, я уже знал, конечно, что в разложении будут присутствовать скобки 
и 
и последнюю скобку не стал раскладывать, тоже кое-что зная. Так что больше опыта нужно и внимательности. Других рекомендаций нет.
Получили 
Теперь знаменатель: по известной формуле 
получаем 
Осталось все это написать вместе и сократить
Сокращать можно только учитывая ограничения
ответ: 
S=ab=5
a=9/2-b
b(9/2-b)=5
b(9-2b)=10
2b^2-9b+10=0
D=81-80=1
b=(9+-1)/4=2 5/2
стороны 2 и 2.5