Hong-Kong, 1962. Journaliste, Chau emménage avec sa femme dans un nouveau logement, en plein coeur d'un immeuble habité par la communauté shangaiaise. Il y rencontre Li-Chun, ravissante jeune femme qui vient elle aussi d'emménager avec son époux. Celui-ci, représentant d'une société japonaise, est régulièrement absent. Lui-même souvent seul, Chau passe de plus en plus de temps avec Li-Chun, jusqu'au jour ou les deux amis découvrent que leurs époux respectifs sont amants... Dès lors Li Chun et Chau essaient de comprendre comment cette histoire d'adultère a pu commencer.