Asal mula berdirinya SMP Muhammadiyah 3 Depok yang dulunya bernama SMP Muhammadiyah Kolombo Yogyakarta adalah karena di daerah setempat belum berdiri satu lembaga pendidikan Islam, sementara yang ada lembaga pendidikan Kanisius dan Bopkri (Lembaga Pendidikan Kristen), sedangkan masyarakat yang tinggal disekitarnya mayoritas beragama Islam.
Untuk itulah, beberapa tokoh masyarakat berkeinginan untuk mendirikan lembaga pendidikan Islam dan sekaligus untuk dapat memakmurkan Masjid Jendral Sudirman di Kompleks Kolombo yang telah berdiri terlebih dahulu, maka dipilihlah lembaga pendidikan Muhammadiyah, dikarenakan banyak jasa dari anggota dan simpatisan Muhammadiyah ikut berperan dalam pembebasan tanah.
Berbicara tentang lembaga pendidikan Muhammadiyah, tidak terlepas dari organisasi Muhammadiyah itu sendiri, yaitu yang didirikan oleh KH. Ahmad Dahlan pada tanggal 18 November 1912. Memadukan pelajaran umum sistem Belanda dengan pelajaran agama sistem pondok pesantren sehingga ada keseimbangan antara ilmu pengetahuan, dan ilmu agama. Selanjutnya, pimpinan Muhammadiyah melalui bidang pendidikan dan pengajaran cabang Depok Sleman memiliki dasar dan komitmen yang kuat untuk mendirikan sekolah serta mendapat dorongan dari masyarakat Kolombo dan sekitarnya. Untuk itu didirikan sekolah Islam (Muhammadiyah) bekerja sama dengan Yayasan Masjid dan Asrama (YASMA). Pada tahun 1978 mendapat sumbangan dari Arab Saudi sejumlah uang Rp 46.000.000,00 dan bertepatan pula YASMA sebagai pemilik tanah mengijinkan pihak Muhammadiyah untuk mendirikan sekolah Islam di Kompleks Kolombo sebagai hak pakai. Pada tanggal 23 Mei 1981 (19 Rajab 1401 H) diresmikan berdirinya SMP Islam sesuai dengan ketentuan yang berlaku, lembaga ini oleh Majelis Pendidikan dan Kebudayaan Muhammadiyah Kabupaten Sleman dengan nomor data 4038/II/196/DIY-81 bernama SMP Muhammadiyah Kolombo. Selanjutnya tanggal 1 Juli 1981 atau tahun ajaran baru 1981/1982 menerima siswa baru kelas I. Bertepatan pula tahun itu dipindahkannya SD Muhammadiyah Blimbingsari ke Kompleks Kolombo (sekarang bernama SD Muhammadiyah Kolombo Depok Sleman).
Berdirinya sekolah-sekolah Muhammadiyah di Kompleks Kolombo atas jasa dari Bapak Slamet Raharjo, BA selaku Ketua Panitia sekaligus Ketua PDM Majlis Dikdasmen Kabupaten Sleman dibantu oleh Bapak Drs. Dochak Latief, Bapak Bedjo Utomo, Bapak Soepardjo, BA selaku PCM Majlis Dikdasmen Muhammadiyah Depok dan Bapak Halim Tuasikal wakil dari Yasma sekaligus menjembatani antara pihak YASMA dan Muhammadiyah, dan tokoh-tokoh lain. Kemudian Bapak Drs. Dochak Latief diangkat oleh Yayasan menjabat sebagai Kepala Sekolah pertama melalui SK No. 76/I-113-1/1981, merangkap dosen di IKIP Yogyakarta.