Découpons les tables présentes en cinquièmes.

Quand on met 3 convives par tables, ils occupent 4 cinquièmes des tables. Si on les met un par table, ils occuperaient virtuellement 3x plus de tables soit 12 cinquièmes des tables existantes, et ce nombre est egalement le nombre total de convives.

Pour asseoir tout le monde, il faudrait ajouter 12 - 5 = 7 cinquièmes des tables existantes, et ce nombre vaut 21.

On en conclut le nombre de tables existantes = 21 x 5/7 = 15 tables.

Et enfin le nombre de convives 15 × 4/5 × 3 = 12 x 3 = 36

Edit : plus simple pour la derniere étape : 15 tables + 21 convives debout = 36 convives en tout.

Si on appelle t le nombre de tables et p le nombre d'invités, les 2 contraintes se traduisent par :
t = p - 21 et p/3 = t - t/5 soit p/3 = 4/5 t soit encore 5p=12t.

Si on ne veut pas résoudre ce système de 2 équations à 2 inconnues, on peut toutefois constater que le système possède une unique solution (correspond à 2 droites non parallèles) donc si on tombe sur une solution, c'est la bonne.
Ensuite, on peut faire de l'arithmétique (p et t sont entiers) :
d'après (5p = 12t) p est divisible par 12 et t par 5 (d'après le lemme de Gauss)
donc, d'après (t = p - 21) t est aussi divisible par 3 car p et 21 le sont, (donc t est divisible par 15).
et donc, d'après (5p = 12t) p est divisible par 36.

On "voit" que t = 15 et p = 36 fonctionne, c'est donc l'unique solution du problème.

rem : c'est quasiment plus compliqué que de résoudre le système et de s'assurer que la solution correspond bien à un couple d'entiers positifs, je me demande donc si c'est le chemin attendu...

Je recopie l'énoncé  parce qu'il y a un détail intéressant
qui permet une seconde solution ... je crois

Dans une salle, des invités s’assoient aux tables.
– S’ils s’installent un par un, 21 invités restent debout.
– S’ils s’installent trois par trois, un cinquième des places reste vide.

Combien y a-t-il de tables dans la salle ? Combien d’invités en tout ?

de Même que "un par un" ne suppose pas que les tables ont 1 place
"trois par trois" ne suppose pas qu'elles en aient 3

De plus c'est 1/5 ème des places et non des tables qui est vide.

Aussi

si le nombre de place est 10

il se trouve que 3 tables suffisent avec 24 invités

Vérification

Un par table : 3 à table et 21 debout = 24

trois par trois sur les 10 tables : tous à table, ils occupent 24 des 30 places, 6 places (30/5) sont inoccupées

Ceci dit, je bourde souvent dans les calculs, alors merci de me dire où.

-------------------------- Où ? ... là : par trois sur les trois tables  de 10 places
cela fait 9 places prises et donc 30-9 = 21 places libres  et tout le monde n'est pas assis. On est loin des exigences ...

En fait, s'ils s'installent (tous) par trois il faut au moins (21/3)
7 tables
exit les solutions 3 et 10

l'erreur ... biais cognitif !?