饒宗頤文化館是香港特區政府發展局「活化歷史建築伙伴計劃」的首批活化項目，由香港中華文化促進中心以「香港文化傳承」為主題，展開保育、重新規劃及活化的工作。

現址的建築群曾經用作醫院。如再往上追溯，在美孚和荔枝角一帶填海前，這地方依山臨海，十九世紀末，設有清政府的海關分廠；二十世紀初，英國人興建了華工屯舍，留下了最早期的建築物。經過多次修葺改建，這地方先後曾經成立檢疫站、監獄、傳染病醫院和精神病療養院。

在發展局及各界友好支持下，這歷史建築群得以活化，改建成為提供多元化的文化設施及融合自然環境的文化園區。

饒宗頤文化館是園林式大型建築群，坐落在荔枝角山崗上，佔地約32,000平方米，分上、中、下三區。

上區設文化旅館，取名「翠雅山房」。中、下區設展覽館、講堂、演藝廳、活動室、禮品閭及餐廳。