Свято-Успенский собор, являющийся главным храмом обители, был построен в 1613 — 1650 гг. (по другим источникам, в 1628 — 1644 гг.). Фундатором (спонсором) выступил владелец Жирович Иван Мелешко, кастелян смоленский, а деньги на внутреннюю отделку собора пожертвовал канцлер ВКЛ Лев Сапега.
Успенский собор — величественный и большой храм. Его высота — около 40 м., длина — 55 м. Он сочетает в себе такие стили, как барокко и классицизма, а также черты византийской (базиличной) церковной архитектуры. Не всегда собор выглядел так, как сегодня. Первоначальный план, очевидно, был так и не реализован: остались, например, неоконченными две башни на главном фасаде. Как свидетельствуют источники, собор был поврежден войсками Богдана Хмельницкого в 1655 году; потом ремонтировался и перестраивался.
В 1821 г. была начата реконструкция собора, при этом башни были разобраны, внешняя отделка выполнена в стиле позднего классицизма. Окончательно работы над собором были завершены при ремонте 1867 г. Собор также был поврежден во время военных действий в Первую мировую войну. Интересным фактом является и то, что за годы уже Второй мировой войны ни одно из строений монастыря не пострадало от бомбежек и обстрелов.
Старожилы рассказывали, что перед входом в собор долгое время можно было видеть огромную воронку от бомбы, но в куполе собора не было ни одной пробоины. Под зданием находились большие подвалы, где в 17 — 18 столетиях размещалась братская усыпальница; здесь же были похоронены многие знатные люди своего времени. В первой половине 19 в. эта усыпальница была замурована, а умерших монахов стали хоронить на братском кладбище.