청휘당은 고려 말의 충신이자 문장도학(文章道學)에 있어서 당대의 거벽(巨擘)인 도은 이숭인(陶隱 李崇仁)선생을 모신 사우(祠宇)이며, 후학들을 강학(講學)하던 곳이다.

청휘당에는 이숭인 선생의 영정을 모신 사당인 문충사(文忠祠)와 도은재(陶隱齋), 동·서재, 누각, 신도비가 있으며, 영정(影幀)(지방문화제 제245호)을 비롯하여 500여 수의 시문이 수록된 도은집 목판과 목은 이색의 기문이 전하고 있다.

청휘당은 1375년(우왕1)에 도은선생이 북원(北元)의 사신을 물리치는 상소를 올렸다가 후환(後患)을 입어 성주로 유배되었을 때 세워진 것으로 추측된다. 그 후 오랜 풍상에 퇴락하여 1921년 후손 병원(柄元)이 주도하고 원근(遠近)의 자손들이 뜻을 모아 사당인 문충사와 청휘본당(晴暉本堂)인 도은재를 중건하여 현판을 달고 경내에 선생의 신도비(神道碑)를 건립하였다. 또한 1983년에 전국의 후손들이 뜻을 모아 개축(改築)하였다.

한편 경상북도에서 고려 말 불사이군(不事二君)의 충절을 지킨 충신이자 성리학의 기초를 확립한 성리학의 대가들인 고려 삼은(三隱)에 대한 역사충절 현창사업을 통하여 역사·문화적 정체성 확보에 나서게 되면서 삼은의 한 분인 도은 선생의 유적지인 청휘당의 중건사업이 추진되어 2018년 준공하기에 이르렀다.