Der Grauspecht ist in seinen Habitatsansprüchen deutlich anspruchsvoller als der Grünspecht. Meist meidet er Nadelwälder und bevorzugt stattdessen alte Laubmischwälder mit einem hohen
Totholzanteil. Man findet ihn im Inneren geschlossener Buchenwälder, aber auch in Auwäldern, in Moor- und Bruchwäldern sowie in Sekundärlebensräumen wie Parkanlagen, Obstgärten, Friedhöfen oder
Golfplätzen, wo er in enger Nachbarschaft mit dem Grünspecht vorkommt.
Während der Grünspecht jedoch als auffälliger, präsenter Vogel gilt, lebt der Grauspecht meist sehr verborgen und unauffällig. Seine Bruthöhle legt er in stark geschädigten bis abgestorbenen
Bäumen an, meist in Höhen zwischen drei und fünf Metern über dem Boden. Dabei achtet er darauf, dass das Einflugloch möglichst vor Witterungseinflüssen geschützt ist. Gegen Mitte April erfolgt
die Eiablage, und die Jungen schlüpfen zwei bis drei Wochen später. 2018 bestand im Landkreis Starnberg an mehr als zehn Stellen Brutverdacht.