龜山島社區原名仁澤社區，民國66年省民政廳補助居民貸款，在大溪興建106戶國宅，將龜山島居民遷入宜蘭縣頭城鎮，居民併入大溪里，居住在名為「仁澤新村」的國民住宅。原恭奉於島上拱蘭宮的媽祖神尊也一併遷移，過往的祭儀也隨之延續，居民使用鄰近的大溪漁港，在此地延續村落發展。遷村之後，龜山島成為軍事管制區，禁止民眾登島，從此龜山島披上一層神秘面紗，因此臺灣民間傳有「臺灣走透透，龜山走不到」的俚諺，在大溪的龜山島人也只能隔著太平洋遙望故鄉。