Объяснение: 
          Ряды "8".                                       Ряды "7"
 8 плиток - полный ряд "8"                   1 ряд "7"+1 во втором ряду.
16  плиток  2 полных ряда "8"            2 ряда "7" +2 в третьем ряду
 и  так далее  ... .
 В  неполном ряду  "7"  должно  быть  + 6 плиток.  В  неполном ряду "8"  +1 плитка.  Тогда выполняется условие  6-1=5
 7*5=35+6= 41  плитка
 8*5=40+1= 41  плитка
Всё логично и понятно.
Есть второй ответ - 97 плиток.
Решается через неравенство 7а+6<100; a <13,4; отсюда, а=13, 13*7+6=97, проверка: 12*8+1=97
Все условия задачи, в том числе ограничение в 100 плиток выполнены.
Остаток, который остается при делении по 7 плиток, m > 5, но m < 7.
То есть m = 6. Остаток при делении по 8 плиток k = m - 5 = 6 - 5 = 1.
Числа меньше 100, которые при делении на 7 дают остаток 6:
13, 20, 27, 34, 41, 48, 55, 62, 69, 76, 83, 90, 97.
Из них числа, которые делятся на 8 с остатком 1: 41 и 97.
Какой ответ правильный, выбирайте сами. Я думаю, 97.
Если бы была всего 41 плитка, никому и в голову не пришло бы пробовать выложить из нее квадрат 10 на 10.