Silkeborg Hovedgård ligger centralt i Silkeborg tæt ved Remstrup Å og syd for Silkeborg Langsø.Det fredede anlæg består af en hovedbygning, et sidehus øst herfor og to portpiller mod nord. Bygningerne rummer i dag Museum Silkeborg.
Hovedbygningen er en grundmuret længebygning med to femkantede sidefløje. Centralt på begge langsider findes en let fremtrukket frontkvist over tre fag. Facaderne fremstår pudsede og gulkalkede over en sortmalet sokkel. Hjørnerne markeres af hvidmalede murede kvaderlisener. Overgangen fra mur til den opskalkede tagfod formidles af en hvidmalet, trukket gesims. På sidefløjene findes en kraftigere gesims med konsoller. Taget er halvvalmet og belagt med røde vingetegl. Tagfladerne er ubrudte foruden få og små tagvinduer. I rygningen på hver sidefløj findes en skorsten med sokkel, skaft og gesims. I begge sidefløje findes tofløjede fyldingsdøre med hvidmalede indfatninger og en lille fordakning. Døren nås via en ligeløbstrappe af granit med tre trin. Centralt i frontkvistene findes endvidere en tofløjet fyldingsdør med glasfelter øverst, og på havesiden en diagonalt opsprosset tofløjet havedør med fire granittrin.
I det indre findes en generelt velbevaret planløsning med store, sammenhængende, gennemlyste stuer en suite i stueplanet. I hver ende findes mindre rum og trappeopgange med trætrapper med drejede balustre. Det centrale rum har kvadratiske marmorfliser og en kraftig profileret loftsgesims. De øvrige rum har parketgulve eller sildebensparket. Vinduesnicherne er dybe og forsynede med paneler, der i enkelte rum kan lukkes som skodder. De indvendige døre er en blanding af ældre fyldingsdøre med messingbeslåning og profilerede gerichter, og nyere fyldingsdøre. Endvidere findes brystningspaneler med relieffer.
Tagetagen fremstår overvejende nyindrettet med nyere overflader og skillerum. Her findes kontorer og mødelokaler.
Der er fuld kælder, som er indrettet til arkiv og værksted. Her ses dels støbte konstruktioner og dels gamle bjælkekonstruktioner samt tykke mure. Foruden støbte gulve findes et ældre klinkegulv lagt i sand.
Sidebygningen er en længebygning opført af gulkalket grundmur over en sortmalet sokkel, og med helvalmet tag belagt med røde vingetegl. På den nordvendte gavl findes en lille frontispice med murede kvaderlisener og et rundbuet opsprosset vindue. Over en portåbning på langsiden findes en frontkvist med et vinduesfag. Vinduerne er i to fag, hvidmalede og med opsprossede ruder. Dørene er beklædte med lodrette brædder og grønmalede. I det indre er bygningen opdelt i mindre rum, der er præget af nyere overflader.
De to portpiller er murede og kalket gule med en rundbuet, hvidkalket passage til gennmengang. Taget er pyramideformet og belagt med røde vingetegl.