À la suite des Jeux, Phelps déménage à Ann Arbor quand son coach Bob Bowman devient l'entraîneur en chef de l'équipe de natation de l'Université du Michigan. Phelps y officie comme entraîneur volontaire, mais ne nage pas avec l'équipe universitaire lors des championnats NCAA, ayant en effet perdu son statut amateur quand il accepté les contrats de la part de ses sponsors, Speedo, VISA, Omega et PowerBar. Il continue à s'entraîner et concourt pour le Club Wolverine, un club affilié à l'université entre 2004 et 2008.
En 2005, lors des Championnats du monde de Montréal, il remporte son premier titre majeur sur 200 m nage libre, confirmant ainsi son titre en petit bassin obtenu sur la même distance quelques mois plus tôt.
L'année suivante, lors des championnats pan-pacifiques, il rafle cinq médailles, établissant par la même occasion trois records du monde.
En mars 2007, aux Championnats du monde de Melbourne, il est consacré sur sept épreuves, manquant de peu une huitième médaille d'or sur le relais 4x100 m 4 nages à cause de la disqualification de l'équipe américaine pourtant favorite. Pendant la compétition, il efface également cinq records du monde dont celui du 200 m nage libre, reléguant son dauphin Pieter van den Hoogenband à près de trois secondes. Ce record était détenu depuis 2001 par Ian Thorpe. À cette occasion, il est le premier nageur, à passer sous 1 min 44.
Quelques jours plus tard, Phelps participe au Duel in the pool, compétition d'exhibition opposant les États-Unis à l'Australie, les deux plus grandes nations des derniers mondiaux.