Prakarsa pembangunan Musium Sandi berawal dari gagasan Bapak Gubernur  Daerah Istimewa Yogyakarta (DIY), Sri Sultan Hamengku Buwono X yang berkeinginan untuk menempatkan koleksi  persandian di Museum Perjuangan Yogyakarta. Keinginan tersebut disampaikan pada saat beliau menerima kunjungan Widyakarya Mahasiswa Sekolah Tinggi Sandi Negara (STSN) bulan Maret 2006. Oleh Kepala Lembaga Sandi Negara, Mayjen TNI Nachrowi Ramli, gagasan tersebut disambut baik dan segera ditindaklanjuti dengan membentuk sebuah tim Pengisian Koleksi Persandian di Museum Perjuangan Yogyakarta, yang kemudian berkembang dan dikenal dengan nama Tim Museum Sandi.

Tim Museum Sandi kemudian segera melaksanakan tugasnya yang dimulai dari pertengahan tahun 2006, beriringan dengan rencana pembangunan Monumen Sandi di Dukuh, Kulonprogo, Yogyakarta. Akan tetapi, kegiatan pembangunan Museum Sandi sempat mengalami kendala yang disebabkan oleh musibah gempa bumi yang melanda Provinsi DIY pada tanggal 27 Mei. Gempa bumi tersebut telah mengakibatkan kerusakan fisik yang cukup berat pada Museum Perjuangan Yogyakarta. Akhirnya, berkat komitmen dan dukungan dari berbagai pihak, Museum Perjuangan dapat di renovasi kembali. Puncaknya pada tanggal 29 Juli 2008, Museum Sandi di resmikan oleh Menteri Kebudayaan dan Pariwisata, Gubernur DIY, dan Kepala Lembaga Sandi Negara.

Dengan berakhirnya perjanjian tersebut  pada tanggal 15 Juli 2013, Lembaga Sandi Negara mulai melakukan penjajagan kerjasama dengan Pemda DIY untuk memanfaatkan gedung Badan Perpustakaan dan Arsip Daerah sebagai tempat pameran Museum Sandi. Melalui Surat Keputusan Gubernur DIY nomor 51/kep/2013 tentang  persetujuan pinjam pakai barang milik daerah kepada Lembaga Sandi Negara, Gubernur DIY secara resmi menyetujui pinjam pakai tanah dan bangunan yang terletak Jalan Faridan Muridan Noto Nomor 21 Kota Baru untuk dipergunakan sebagai tempat menyelenggarakan Museum Sandi. Surat Keputusan Gubernur tersebut kemudian diatur lebih lanjut dalam sebuah perjanjian antara Pemda DIY dengan Lembaga Sandi Negara nomor 3/PERJ/SEKDA/IV/2013 dan PERJ.074/SU/HK.08.01/04/2013 tentang pinjam pakai barang milik daerah kepada Lembaga Sandi Negara.