建築年代は明らかになっていないものの、明治20年（1887）頃、東京牛込の実業家中島氏が、子息襄吉の医科大学卒業にあたり新居として建てられたものと伝えられています。襄吉は勤務先の都合でここに住むことなく、そのためにほぼ新築のまま空家になっていましたが、鷗外が借家して明治23年（1890）9月、この家に移りました。すでに陸軍軍医として勤務する傍ら文筆を執っていた鷗外は、ここで文学評論雑誌『しがらみ草紙』の刊行を続け、我が国の初期浪漫主義の作品とされている小説『文づかい』等を執筆。この家は千朶山房と呼ばれ、鷗外の活発な文芸活動が行われたところです。明治25年（1892）1月には、同じ千駄木町21番地の観潮楼へ移っていきました。

その後、中島家の借家となっていたのを、明治27年（1894）に、夏目漱石の学友で歴史学者であった斉藤阿具の父が、阿具の住まいとしてこの家を贈りました。斉藤阿具は明治35年（1902）5月、仙台の第二高等学校に赴任し、翌年には海外留学へ。明治36年（1903）2月、英国留学から帰朝して東京帝国大学文学部などで、英語、英文学を講義することになった夏目漱石がこの家を借りることになりました。漱石は斉藤阿具が帰朝して第一高等学校に転任上京する明治39年（1906）までここに住み、『我輩は猫である』『坊ちゃん』『草枕』など多くの作品をここで執筆したといわれています。