北京小學的前身是北京市委幹部子弟1949寄宿制小學，位於西城區軍分區。1950張自忠小學合並，遷至西城區椅子胡同，在張自忠私宅設立分校。1952更名為北京市第壹小學。1955搬到現住址。1956北京市第二小學合並更名。1966取消寄宿制。1971-1979更名為槐柏樹街小學和長春街小學。現在的名字是1981年恢復的。1995恢復寄宿制，開展以“自理、自律、自主”為主題的寄宿制教育。
北京小學占地1.92萬平方米，建築面積3.4萬平方米。1991建有綜合科技體育樓，包括教學樓、宿舍樓、遊泳池、體育館、乒乓球室、天球館、演播室、禮堂、階梯教室、師生餐廳、藏書5萬冊的書庫、圖書館、資料室。有19計算機、語音、自然、音樂專用教室。