Thiết kế và trang trí của lâu đài được đánh giá là cực kỳ xuất sắc bao gồm các yếu tố kiến trúc Baroque được thêm vào trong thế kỷ 18.
Theo các nghiên cứu, tại vị trí của lâu đài Litomysl từng tồn tại một lâu đài cổ của người Slav. Vào giai đoạn vương triều Bohemia cai trị, lâu đài Litomysl được hoàng gia cho xây dựng dưới sự giám sát của kiến trúc sư Jan Baptista Avostalis (Giovanni Battista Avostalli) từ năm 1568. Công trình hoàn thành vào năm 1580. Lâu đài có sự thay đổi lớn khi năm 1719 kiến trúc sư Frantisek Maximilian Kanka đưa phong cách kiến trúc Baroque vào lâu đài. Nội thất của lâu đài thay đổi hoan toàn giữa những năm năm 1792 và 1796 theo thiết kế của Jan Kryštof Habich, nhưng vẫn bảo tồn vẻ đẹp thời Phục hưng của lâu đài lộng lẫy với những đầu hồi ấn tượng.
Lâu đài gồm 4 dãy nhà ba tầng không đối xứng khép kín tạo thành hình chữ nhật với khoảng sân trời ở giữa. Dãy phía tây là dãy lớn nhất, trong khi dãy phía nam là một thư viện hình vòm hai tầng, tạo thành sân vuông thứ hai (một tính năng độc nhất vô nhị của Litomyšl).
Vòng cung vòm hình vòm tiếp tục xung quanh phía tây và phía đông của sân. Nhà thờ nằm ở góc đông nam của phía đông. Một trong những đặc điểm nổi bật nhất trong nội thất của lâu đài là dãy phía tây có một nhà hát tân cổ điển được xây dựng từ năm 1796-97. Các trang trí sơn gốc của khán phòng, trang trí sân khấu và máy móc sân khấu tồn tại nguyên vẹn đến nay. Nhà hát có nội thất được trang trí lộng lẫy, về cơ bản là theo hình thức Phục Hưng với phong cách trang trí Baroque hoặc tân cổ điển xa hoa dưới dạng các vật liệu trát vữa tường và trần nhà.
Các tòa nhà liên kết với lâu đài đều được xây dựng hoặc xây dựng lại trong quá trình sửa đổi theo thời gian và được thể hiện rõ nét trong phong cách kiến trúc của chúng. Trong số các tòa nhà phụ trợ, đặc biệt nhất là Nhà máy bia, nơi sinh của Bedřich Smetana, một trong những nhà soạn nhạc người Séc vĩ đại nhất mọi thời đại.Nhà máy bia nằm ở phía nam của sân đầu tiên. Ban đầu được xây dựng để bổ sung cho lâu đài, với trang trí sgraffito thời Phục Hưng, được tu sửa bởi kiến trúc sư nổi tiếng František Maximilián Kaňka sau trận hỏa hoạn năm 1728.
Với những giá trị độc đáo về lịch sử, kiến trúc và mỹ thuật, lâu đài Litomysl của Cộng hòa Séc đã được UNESCO công nhận là Di sản văn hóa thế giới năm 1999.