האם יש לאמר "אדיר במרום" במקרה שאין כהנים, והחזן אומר את ברכתם?

אינני זוכר לכך מקור, אבל המנהג שאין אומרים "אדיר במרום" כשאין כהנים.