"Il y a cent quarante-deux escaliers à Poudlard, des larges, des étroits, des courbes, des carrés, des délabrés, certains avec une ou deux marches escamotables dont il faut se souvenir d'enjamber pour ne pas tomber . Il y avait aussi des portes qui refusent de s'ouvrir si on ne leur demande pas poliment, ou si on ne les chatouille pas au bon endroit, et d'autres qui n'étaient que des pans de murs déguisés en portes. Il est aussi très difficile de se souvenir où les choses se trouvent car tout bouge sans cesse. Les gens représentés sur les tableaux accrochés aux murs passent leur temps à se rendre visite les uns aux autres et Harry est persuadé que les armures se promènent parfois dans les couloirs."

Le château de Poudlard se situe sur une falaise surplombant un lac. Le lac est au sud du château et les portes principales font généralement face à l'ouest. On peut y accéder également par une petite crique souterraine, dont l'entrée est cachée par un rideau de lierre, et qui mène à une plage rocheuse en-dessous du château, à la base de la falaise. D'après les descriptions, Poudlard doit être situé en Ecosse. On accède aux lieux par des entrées, ce qui signifie qu'un mur ou une grille entoure la zone entière. La porte principale est encadrée par des colonnes de pierre surmontées de sangliers ailés.

Les salles communes des élèves sont à l'opposée les unes des autres. Poufsouffle et Serpentard dans les cachots, tandis que les salles communes de Serdaigle et Gryffondor se trouve dans les tours de Poudlard. Chacune est accessible grâce à un mot de passe et aucun élève d'une autre maison ne peut pénétrer dans la salle commune qui n'est pas la sienne.