Pierre Graff débute son parcours dans différentes Directions Départementales de l’Équipement (les Ardennes, le Nord,…). C’est au sein de ces différentes Directions Départementales qu’il fait ses premières armes.
En 1986, Pierre Graff est nommé conseiller technique du Ministre de l’Équipement, des Transports, du Tourisme et de la Mer.
En 1987 et jusqu’en 1990, il travaille comme délégué à la Sécurité Routière. Ensuite, il est nommé Directeur Général de la Direction Départementale de l’Équipement de l’Essonne.
En 1993, il retourne au Ministère de l’Équipement pour devenir Directeur Adjoint puis Directeur de cabinet du Ministre de l’Équipement.
En 1995, Pierre Graff est nommé Directeur de l’Aviation Civile mais, il ne s’éloigne pas des ministères puisque l’Aviation Civile est rattachée au Ministère de l’Équipement.
En 2002, il retourne une fois encore au Ministère de l’Équipement pour devenir cette fois le Directeur de cabinet du Ministre.
Enfin, le 17 septembre 2003, il est désigné Président du Conseil d’Administration puis PDG des Aéroports de Paris (ADP). Son mandat sera renouvelé en 2009. Le rôle de la société Aéroports de Paris est d’exploiter et d’aménager les 14 aéroports de la région Ile-de-France.