Le problème légendaire de l'IMO 1988

Soient $a$ et $b$ deux entiers naturels non nuls tels que $ab+1$ divise $a^2+b^2$.

Démontrer que $\dfrac{a^2+b^2}{ab+1}$ est le carré d'un entier.

On utilise la méthode du saut de Vieta (descente infinie). Posons $k = \dfrac{a^2+b^2}{ab+1}$, entier naturel non nul. Supposons par l'absurde que $k$ n'est pas un carré parfait.

Étape 1. Parmi tous les couples d'entiers naturels non nuls $(A,B)$ vérifiant $\dfrac{A^2+B^2}{AB+1}=k$ (cet ensemble contient $(a,b)$), on choisit celui qui minimise $A+B$, avec $A \geq B$.

Étape 2. Comme $A^2+B^2=k(AB+1)$, $A$ est racine de l'équation du second degré $x^2 - kBx + (B^2-k) = 0$. Soit $x_1$ l'autre racine. Par les relations de Vieta :

Étape 3 — $x_1 \geq 0$. Comme $x_1$ vérifie $x_1^2+B^2=k(Bx_1+1)$, un raisonnement par l'absurde (si $x_1\leq-1$, le membre de gauche serait positif et le membre de droite négatif ou nul) montre que $x_1\geq0$.

Étape 4 — $x_1 < B$. Si l'on avait $x_1 \geq B$, alors $Ax_1 \geq B^2$, donc $B^2-k=Ax_1\geq B^2$, ce qui donnerait $k\leq0$ : contradiction. Donc $x_1 < B$.

Étape 5 — Conclusion.
- Si $x_1=0$ : alors $0=Ax_1=B^2-k$, donc $k=B^2$ est un carré parfait, ce qui contredit l'hypothèse de départ.
- Si $x_1>0$ : le couple $(x_1,B)$ vérifie aussi $\dfrac{x_1^2+B^2}{x_1B+1}=k$, avec $x_1+B < A+B$ (car $x_1<B\leq A$), ce qui contredit la minimalité choisie à l'étape 1.

Dans les deux cas, on obtient une contradiction. L'hypothèse « $k$ n'est pas un carré parfait » est donc fausse : $k=\dfrac{a^2+b^2}{ab+1}$ est nécessairement le carré d'un entier. $\blacksquare$

Remarque historique : ce problème est resté célèbre pour avoir résisté plusieurs heures à six membres du comité de sélection australien (pays organisateur de l'IMO 1988) avant d'être proposé aux candidats.