Диагональю выпуклого многоугольника называется отрезок, соединяющий пару несмежных вершин. Подсчитаем, сколько диагоналей у выпуклого n-угольника.
Рассмотрим направленные диагонали, т.е. "отрезки" с началом в одной вершине и концом в другой, несмежной с начальной. Из выбранной начальной вершины выходят ровно (n - 3) направленных диагоналей (концами НЕ могут быть сама вершина и две, смежные с ней). Тогда всего направленных диагоналей должно быть n * (n - 3).
Искомое же число диагоналей в два раза меньше, поскольку для каждой диагонали направление можно выбрать двумя различными
Итак, p(n) = n * (n - 3) / 2. Область определения этой формулы - натуральные числа (конечно, можно подставлять в эту формулу различные n, в том числе и, например, нецелые отрицательные, но многоугольников с -17.25 вершинами не бывает).