移情阁在历史的惊涛骇浪中，虽然几经变迁，依旧跨越了世纪之交，作为现今唯一可追想舞子海滨风光的建筑坚守着明石海峡。
明石海峡大桥所在的舞子海滨，自古以来就以白沙翠松、风光明媚而著称。明治以后，这里旅馆、别墅比肩栉比，热闹非凡。19世纪末，神户的华人实业家吴锦堂在此海滨一隅建起了自己的别墅，名为“松海别庄”，其规模随着吴锦堂事业的成功而不断扩大。1913年3月14日，松海别庄迎来了以国宾身份访问日本的孙文，以神户华人为中心的财经、政界人士欢聚一堂召开了欢迎午宴。自此以后，松海别庄就作为孙文纪念地而留在了神户人的心中。
孙文来访2年后，即1915年，吴锦堂为纪念他60岁大寿以及隐退实业界，建了一座三层的楼阁，据说为寄托自己对中国的思乡之情，将其命名为“移情阁”。
进入昭和时代，舞子海滨逐渐从当初的游乐胜地变身为交通要塞。1928年，因扩建神明国道（现在的国道2号线），海边的旅馆等都被拆迁，松海别庄也被迫解体，仅仅留下了移情阁，附属栋则被水平迁移改建成现在的状态。
在二战中，移情阁曾一度被官方接收，作为高官或军人留宿使用。战后不久即归还给吴氏家族，之后被用作神户中华青年会的研修所等设施。
1960年代，移情阁还被用作电影的拍摄地等，平安无事。然而，1964、65年相继而来的台风直击舞子海滨，移情阁也受到巨大破坏。当时，附属栋的房顶、凉台都倒塌，几成毁灭状态，移情阁主体的壁纸、灯具等大正时期非常珍贵的室内装饰也都毁灭殆尽。
神户华侨为了留下这座与孙文有关的历史性纪念建筑，将其作为孙中山纪念馆开放而组织了集资，但是由于资金不足，只能作一些临时性的修缮。
1983年11月，为了纪念日中邦交正常化10周年，兵库县与广东省缔结了友好关系。因此契机，移情阁由神户华侨总会赠给了兵库县，兵库县对其进行了修复，决定永久保存。在日中双方相关人士的努力下，孙中山纪念馆终于在1984年11月12日面向市民开放。
1991年12月，随着明石海峡大桥的建设，作为舞子站周边整备计划的一环，扩建国道2号线被提上日程，决定对移情阁进行迁移。迁移地址选在了明石海峡大桥东海岸附近。
2005年10月1日，考虑到在日本“孙文”比“孙中山”更易为普通市民所熟悉，孙中山纪念馆更名为“孙文纪念馆”。