Tekanan dari masyarakat juga semakin memperberat perjuangan Margaret, terutama jika melihat fakta bahwa Elizabeth II mewarisi takhta karena pamannya, Raja Edward VIII pewaris yang sah memutuskan untuk melepaskan posisinya sebagai Raja Inggris demi menikahi seorang janda dari kalangan rakyat jelata.
Disebutkan, Ratu Elizabeth II sebenarnya tidak menentang kisah cinta Margaret dan membuat sebuah rencana yang membuat adiknya bisa menikahi Townsend dan tetap menjadi bagian dari keluarga kerajaan. Rencana itu membutuhkan kompromi untuk mengubah UU Pernikahan Keluarga Kerajaan sehingga Ratu Inggris tidak perlu memberi izinnya agar pasangan Margaret dan Townsend bisa menikah.
Tetapi agar perubahan itu bisa dilakukan, Margaret harus merelakan haknya untuk mewarisi takhta, begitu juga dengan anak-anaknya di masa mendatang. Pada akhirnya pernikahan kontroversial antara Margaret dan Townsend tidak pernah terjadi, tanpa diketahui penyebab pastinya.
Pada akhirnya, Margaret menikah dengan fotografer, Antony Armstrong-Jones pada 1960 setelah melalui hubungan romantis yang juga dihiasi skandal. Hubungan mereka dirahasiakan sampai pada pertunangan yang mengejutkan Inggris. Menurut seorang temannya, Margaret baru memutuskan untuk menikah setelah Townsend berencana untuk menikah kembali.
Armstrong-Jones, meski berasal dari kalangan jelata dipandang sebagai sosok yang lebih pantas dibandingkan Townsend, sayangnya pernikahan itu tidak berakhir bahagia.
Setelah melalui berbagai masalah, mulai dari perselingkuhan, pertengkaran, ketergantungan alkohol dan obat-obatan, pasangan itu bercerai pada 1978. Margaret menjadi anggota Keluarga Kerajaan Inggris pertama yang bercerai dalam 77 tahun.