Пусть x учеников пользуются всеми тремя видами транспорта.
10 пользуются метро и троллейбусом, из них (10-x) только ими.
12 пользуются метро и автобусом, из них (12-x) только ими.
9 пользуются автобусом и троллейбусом, из них (9-x) только ими.
20 пользуются метро, из них x тремя видами, (10-x) метро и троллейбусом,
(12-x) метро и автобусом и остальные
20-x-(10-x)-(12-x) = x-2 только метро.
5 пользуются автобусом, из них x тремя видами, (12-x) метро и автобусом,
(9-x) автобусом и троллейбусом, остальные
5-x-(12-x)-(9-x) = x-16 только автобусом.
Получили противоречие. С одной стороны, x <= 5, потому что только 5 человек пользуются автобусом, с другой стороны, x-16 >= 0 пользуются только автобусом.
Я думаю, что в задаче ошибка.
x=1-y
(1-y)^2-2y^2+(1-y)y-(1-y)-y+3=0
1-2y+y^2-2y^2+y-y^2-1+y-y+3=0
-2y^2-y+3=0
2y^2+y-3=0
y1=1
y2=-3/2
x1=0
x2=2.5