白楼位于漳江镇建设路桃源师范内,1912年由资产阶级民主革命家宋教仁倡议,在县城边街创建湖南省第二女子师范学校(即现在的桃师),白楼建于此时,现代著名女作家丁玲曾在此就读,贺龙率领的红二、六军团也曾在此楼设临时指挥部。楼坐北朝南,平面呈曲尺形,长54米,宽40米,砖木结构,为仿欧洲哥特式建筑。白楼不仅建筑风格别具一格,且具有较高的革命传统教育意义。