Есть 12 вариантов выбора книг для покраски по количеству книг в каждом цвете (красный, зеленый, коричневый)
1 1 10
1 2 9
1 3 8
1 4 7
1 5 6
2 2 8
2 3 7
2 4 6
2 5 5
3 3 6
3 4 5
4 4 4
Им соответствуют количество вариантов выбора книг по их числу, например, первому, 12!/(10!*2!)*2!/(1!*1!)=66*2=132. Их надо посчитать.
И каждому набору соответствует число возможных перестановок по цветам. Если все числа в наборе разные, то 3!=6, если две одинаковые, до 3!/(2!*1!)=3, если все одинаковые (последний случай) , то 3!/(3!*0!)=1.
Затем количество вариантов выбора книг для каждого набора надо умножить на количество перестановок в наборе (то есть, для первого получится 132*3=396), и полученные числа сложить. Получится 519156.
∈ 
∞ 
∪ 
∞ 
или 
или 
или 
∈ ∞ 
∪ 
∞ 
∪ 
х+5 (кн.) - в 1-ой пачке
3х (кн.) - в 3-ей пачке
Так как в трех пачках 45 книг, то составим уравнение:
x+5+x+3x=45
5x+5=45
5x=45-5
5x=40
x=8 (кн.) - во 2-ой пачке
8+5=13 (кн) - в 1-ой пачке
8*3=24 (кн) - в 3-ей пачке
ответ: 13, 8 и 24 книг.