хотя в разрешении на строительство - 5 м.
Наверное, не в разрешении на строительство, а в градостроительном плане. Не видя документов, сложно сказать, но, думаю, что, скорее всего, нельзя. надо видеть съемку участка, чтобы однозначно сказать, почему специалисты архитектуры определили мин расстояние в 5 м.