a) Вероятность взять один синий карандаш, равна 5/9. В коробке останется 8 карандашей. Вероятность взять второй синий карандаш, равна 4/8 = 1/2, вероятность взять третий сини карандаш равна 3/7. По теореме умножения, 5/9 * 1/2 * 3/7 = 5/42
Аналогично вероятность взять один красный карандаш равна 4/9, второй красный карандаш - 3/8, третий красный карандаш - 2/7. По теореме умножения, 4/9 * 3/8 * 2/7 = 1/21
По теореме сложения, вероятность взять 3 карандаша одинакового цвета равна 5/42 + 1/21 = 5/42 + 2/42 = 7/42 = 1/6
б) Всего всевозможных исходов: 
из них нужно взять 2 синих и 1 красный карандаш, таких у нас 
. Вероятность того, что среди отобранных 3 карандаша 2 синих и 1 красный карандаш, равна 40/84 = 10/21
c) Вероятность того, что среди наугад выбранных 3 карандаша нет синего цвета, равна 1/21 (посчитали в пункте а), тогда вероятность того, что среди них будет хотя бы 1 карандаш синий, равна 1 - 1/21 = 20/21
И получается А, В=6/2=3, С=6.
Вот твое уравнение: А в квадрате+3 в квадрате= 6 в квадрате
А в квадрате= 36-9
А в квадрате= 27
А = корень из 27