Ну, первым делом было бы неплохо вычислить длины векторов a=3m+2n и b=-m+3n. Это можно сделать примерно так:
|a|^2 = <a,a> = <3m+2n,3m+2n> =
<3m, 3m> + 2<2n, 3m> + <2n, 2n> =
9|m|^2 + 12<m, n> + 4|n|^2
|b|^2 = <b,b> = <-m+3n,-m+3n> =
<-m, -m> - 2<m,3n> + <3n, 3n> =
|m|^2 - 6<m, n> + 9|n|^2
Угол между a и b будет вычисляться примерно так:
cos(ab) = <a,b> / (|a| * |b|)
Скалярное произведение имеет вид:
<a,b> = <3m+2n,-m+3n> =
<3m,-m> + <2n,-m> + <3m,3n> + <2n,3n> =
-3|m|^2 - 2 <n,m> + 9<m,n> + 4|n|^2 =
-3|m|^2 + 7 <n,m> + 4|n|^2
Получили выражение косинуса через известные величины. До числа, думаю, доведёте сами. 8-)
