Дворец Олега – памятник архитектуры XVII – XIX веков, самое большое гражданское здание Кремля, имеющее площадь 2530 кв м. Оно сооружено на участке Рязанского кремля, где до XVI века находился княжеский двор. Дворец Олега – это бывшие жилые палаты рязанских архиереев, в здании также размещалась их домовая церковь, братские кельи и хозяйственные службы.
Прямоугольное в плане каменное трехэтажное здание возводилось поэтапно: первые два этажа (архитектор Ю.К. Ершов) – в середине XVII века, третий этаж (архитектор Г.Л. Мазухин) – в конце XVII века. Позднее (1778 – 1780 гг.) архитектор Я.И. Шнейдер сделал пристройку к восточной стороне здания, увеличив его длину до 94 м. В XIX веке эта часть Дворца Олега была перестроена губернским архитектором С.А. Щеткиным.
Здание полностью музеефицировано, здесь расположены экспозиции и выставки музея-заповедника, хранятся фондовые коллекции.