中央研究院於民國16（1927）年成立於南京，抗戰前，先後成立了10個研究所，分設京、滬兩地。歷史語言研究所是最早成立的研究所之一，本所的前身-史語所二組，則由中國語言學大師趙元任先生創立。當時使用的英文名稱是Institute of History and Philology，主要的研究方向是文獻考據與方言調查。

從1927到1994年的67年裡，語言學經歷了重大的變遷與發展，西方語言學本身，從與哲學的論述，歷史語言比較，發展出結合人類學式的田調研究沒有文字的人類語言，以研究語言的演化發展、並跨域結合心理學研究語言行為、結合認知科學研究語言的生理機制與基礎、結合資訊科學帶動語音科技的發展，語言學至此從人文研究邁向與社會科學、行為科學、認知科學、資訊科學結合的嶄新又寬廣的局面。值此之際，中國語言學的部分，也從強調歷時研究的文獻考據、方言（田野）調查進而發展到與西方語言學的研究方法結合、理論研究接軌的全新局面。原史語所的二組，也因此提出成立語言學研究所的規劃，歷經三年的努力，史語所的二組經總統府核准於民國86（1997）年8月13日先行成立「中央研究院語言所籌備處」，並於93年正式成所。