歷史語言研究所成立於1928年。是年初，大學院中央研究院籌備委員傅斯年向大學院院長蔡元培建議設置歷史語言研究所。3月，本院於廣州中山大學籌設歷史語言研究所，聘傅斯年、顧頡剛、楊振聲三人為常務籌備員。7月，正式成立，由傅斯年代行所長職務。10月22日遷入廣州柏園，始有獨立所址，後經議定，以此日為本所所慶紀念日。
初在廣州，分設八組。1929年遷北平，將原設八組歸併為三個學術組，一為歷史學組，從事史學及文籍考訂；二為語言學組，從事語言學及民間藝文；三為考古學組，從事考古學、人類學及民物學，並分別聘請陳寅恪、趙元任、李濟為一、二、三組主任。九一八事變 （1931）後由北平遷上海。1934年，史語所由上海遷至南京。同年5月增設人類學組。
中日戰爭期間，史語所先後遷湖南長沙、雲南昆明，最後定居於四川南溪縣。1946年遷回南京，繼續推動各項研究工作，並接收北平東方文化研究所及近代科學圖書館圖書，成立「北平圖書史料整理處」。1948年冬，時局突變，史語所在傅斯年所長主持下，將人員、圖書、標本、文物等由南京遷臺，設臨時所址於桃園縣楊梅鎮。1954年春，隨中研院定居南港現址。隨著時局穩定與臺灣經濟成長，史語所規模得以日漸擴充。1960年建傅斯年圖書館，1986年，歷史文物陳列館正式啟用。1994年，研究大樓竣工。史語所建築乃呈現今日規模。
定居南港後，史語所建制亦有所調整。1958年增設甲骨文研究室，1990年易名為文字學組。另有三館，分別收藏所內重要圖書和文物，即傅斯年圖書館、歷史文物陳列館以及臺灣考古館。1995年起，為推動群體研究，設置專題研究室，以匯聚所內、外研究人力和資源，目前計有文化思想史、法律史、臺灣與東南亞考古學、文物圖象、生命醫療史、禮俗宗教、世界史、古代文明八個研究室。另外，先後設有明清檔案、漢籍資料庫、地理資訊系統、金文、安陽五個工作室；以及骨骼、科技考古、文物維護三個實驗室。1997年，語言學組成立語言學研究所籌備處，史語所名稱維持不變，分為歷史學、考古學、人類學和文字學四組。2003年配合院方廢組政策，改「組」為「學門」，學門設召集人，負責相關同仁的人事、行政、學術方面的領導工作。
史語所秉持一方面尊重個人研究，鼓勵研究人員成為個別領域的領導學者；二方面以專題研究室為基礎，突出幾個跨學門的、全所性的研究重心；同時，積極整理出版所藏學術材料，擴充數位環境，期以建構世界漢學研究的平台。
參考資料：中央研究院歷史語言研究所網站。