Das nach den Herren von Porcia benannte Schloß, das erste zur Gänze errichtete Renaissanceschloß in den habsburgischen Ländern, zählt zu den wichtigsten Bauten der Frührenaissance außerhalb Italiens. Für die Renaissancearchitektur Mitteleuropas von großer entwicklungsgeschichtlicher Bedeutung ist der heute als Veranstaltungsort genützte Arkadenhof.
Schloß Spittal, Stammsitz des von Gabriel von Salamanca begründeten Geschlechts, ist eine Kombination aus Schloß und städtischem Palazzo mit aus dem Wehrbau entlehnten Motive, wie die diagonal gestellten Rundtürme als Demonstration von Macht und Stärke. Den Mittelpunkt der mächtigen Vierflügelanlage mit einer an venezianische Palazzi erinnernden Hauptfront bildet der Innenhof mit graziler dreigeschoßiger Säulenarkatur, Balustradenbrüstungen und Loggien sowie einer interessanten Treppenhauslösung. Von großer kunsthistorischer Bedeutung ist die reiche, vor allem aus dem 16. Jh. stammende skulpturale Ausstattung mit ornamentalen und figuralen Reliefs aus Stuck oder Stein, die zum überwiegenden Teil von Künstlern aus dem oberitalienischen und schweizerischen Raum geschaffen wurden. Von besonderer Qualität ist die in Glanzstuck (stucco lucida) ausgeführte, 1988/89 restaurierte Decke aus dem Ende des 16. Jh. im 1. Obergeschoß des nordwestlichen Eckturmes mit Themen aus den Metamorphosen Ovids.

Bauherr des Schlosses war der aus Spanien stammende, im Dienst Erzherzog Ferdinands stehende Gabriel von Salamanca, der 1523 mit der Grafschaft Ortenburg belehnt wurde. 1533 wurde der Bau nach einem heute verschollenen Modell begonnen, 1539 nach dem Tod Gabriel von Salamanca zufolge einer testamentarischen Verfügung nach dem ursprünglichen Modell fortgeführt und 1597/98 vollendet. Der Urheber des Modells war zweifelsfrei italienischer Herkunft, bestens vertraut mit lombardischer, venezianischer und toskanischer Architektur des frühen 16. Jahrhunderts, vor allem aber beeinflußt von entsprechenden Trientiner Bauten aus der Zeit des Manierismus.
Von 1662 bis 1918 war das Schloß die Residenz der Herren von Porcia. Das große Stuckwappen der Porcia an der Südwand des Hofes und der Stuckaufsatz des Hauptportales mit den Wappen der Ortenburger und Porcia aus der Zeit um 1700, weisen darauf hin. Die in diesen Jahrhunderten durchgeführten Maßnahmen dienten vorwiegend der Ausstattung des Schlosses, ohne dabei das von der Renaissance geprägte Erscheinungsbild einschneidend zu verändern. Eine die künstlerische Wirkung einschneidende Änderung erfolgte 1880 mit der späthistoristischen Neugestaltung der Westfassade in Sgrafitto-Technik durch den Mölltaler Maler Martin Ladinig. Gleichzeitig wurde die originale Farbgebung, ein gebrochenes Weiß, geändert.

Mit der 1963 bis 1967 erfolgten Außenrestaurierung, bei der die Fassaden mit einem Marmorputz versehen wurden, erstrahlt das Äußere wieder in Weiß. Die Wiederherstellung der ursprünglichen Farbgebung des Innenhofes wurde 1986/87 durchgeführt, wobei zuerst ein 1962 aufgebrachter Dispersionsanstrich mit schlechten bauphysikalischen Eigenschaften entfernt werden mußte. Wie zur Erbauungszeit wurden alle Wand- und Gewölbeflächen in einem Farbton gefärbelt. Gleichzeitig wurden die Steinteile gereinigt und konserviert bzw. die bemerkenswerten Metopenreliefs des Kranzgesimses restauriert.
Um Aufführungen der Komödienspiele auch bei Regen zu ermöglichen, wurde der Hof 1962 mit einer ausfahrbaren Planenkonstruktion überdacht, um die künstlerische Wirkung des Hofes so wenig wie möglich zu stören.
1999/2000 erfolgte der Einbau eines Liftes, um einen "behindertengerechten" Zugang zu allen Geschoßen zu ermöglichen, wobei kaum erhaltenswerte historische Bausubstanz vom Umbau betroffen war.
Seit 1930 ist das Schloß im Eigentum der Stadtgemeinde Spittal an der Drau. Es stellt das Zentrum des gesellschaftlichen Lebens der Stadt dar. So ist der Arkadenhof seit über 40 Jahren Veranstaltungsort der Komödienspiele Porcia und eines internationalen Chorwettbewerbes. Es beherbergt neben Galerieräumen das Museum für Volkskultur, das unter anderem als Museum für Kinder bekannt, wo den Kleinsten auf spielerische Weise Geschichte nähergebracht wird.