У Толи 18 монет по 2 р. и 5 р. на сумму 97 р.
Если взять 18 монет по 5 р, то общая сумма составит 90 рублей, которая меньше заявленной в условии 97 р. Поэтому с такими данными задача решений не имеет.
Если у Толи 18 монет по 2 р. и 5 р. то сумма денег может быть в пределах от 17·2+5=39 р. до 2+17·5=87 р. с шагом в 3 р.
=================================
В качестве примера решим такую задачу.
У Толи 18 монет по 2 р. и 5 р. на сумму 57 р. Сколько монет каждого достоинства у Толи?
Пусть у Толи х монет по 2 р. и у монет по 5 р. Тогда система :

ответ при таком условии : 11 монет по 2 р. и 7 монет по 5 р.
1) a(d-8) -x(8-b)
2) a(x-1)-b(1+x)
3)a(x-y)-2b(x+y)
4) x(a-1)-y(1+a)