Давайте для начала формализуем условие. У насть есть вероятностное простравнство Ω. Что такое в нём исход? Исход - это как раз передача сообщения n раз. Исход можно закодировать последовательностью n+1 чисел. Каждое число в последовательности обозначает жителя, а следующее жителя которому будет передано сообщение. Получаем, что:
Из условия следует, что каждый исход равновероятен. 
Теперь посчитаем вероятность, что новость будет передана n раз без повторного сообщения её кому-нибудь. Обозначим это событие как A. Заметим, что каждый благоприятный исход (лежит в А) представляет собой перестановку (n+1)-го чисел. Всего таких перестановок 
. Теперь можно считать вероятность:
(5х +3)² = (3х +5)²
25х² + 30 х + 9 = 9х² +30х +25
16х² = 16
х² = 1
х +- √1 = +- 1
Чтобы найти у, надо х= +- 1 подставить в любое уравнение.
а) х = 1
(5 +3)² = 8у
64 = 8у
у = 8
б) х = -1
(-5 + 3)² = 8у
4 = 8у
у = 0,5