Bei adulten Männchen ist die Oberseite blaugrau bis dunkel schiefergrau, die Wangen sind rostrot, die Brust und der Bauch meist rostrot quergebändert. Adulte Weibchen sind auf der Oberseite
braungrau bis schiefergrau, unterseits braungrau gebändert und manchmal ist ein weißer Überaugenstreif zu erkennen. Jungvögel ähneln eher adulten Weibchen, haben oberseits kastanienbraunes
Gefieder und sind unterseits braun quergebändert, oft unregelmäßig und grob. Auffällig ist beim Sperber also die Querbänderung der Körperunterseite, die Sperberung. Diese Gefiederzeichnung
schlug sich beispielsweise auch bei der Namensgebung der Sperbergrasmücke und der Sperbereule nieder. Die Augen sind gekennzeichnet durch eine gelbe Iris, die bei älteren Weibchen gelborange
und vorwiegend bei älteren Männchen auch rot gefärbt sein kann.
Der für Greifvögel typische Geschlechtsdimorphismus ist beim Sperber so ausgeprägt wie bei keiner anderen heimischen Greifvogelart, insbesondere hinsichtlich Größe und Gewicht. Das Männchen
ist etwa so groß wie ein Eichelhäher und mit durchschnittlich 140 Gramm nur halb so schwer und um ein Drittel kleiner als das turmfalkengroße Weibchen.
Während des Fliegens erscheint der Schwanz des Sperbers lang, gerade abgeschnitten und fast immer ungefächert. Im Horizontalflug baut der kleine Greifvogel nach fünf bis acht hastigen
Schlägen mit den kurzen, runden Flügeln immer wieder Gleitflugstrecken ein, wodurch die Flugbahn leicht wellenförmig ist. Durchschnittlich sind die Flügel etwas kürzer, breiter und gerundeter
als beim Turmfalken, dessen Flug viel weniger Gleitphasen aufweist. Außerhalb der Brutzeit ist der Sperber meist stumm, aber am Neststandort etwas ruffreudiger.