Selama dirinya merintis karir sebagai kepala sekolah, Sudirman juga aktif dalam kegiatan Kelompok Pemuda Muhammadiyah dimana dirinya dikenal sebagai mediator serta negosiator yang lugas serta sering berdakwah di masjid setempat. Pada akhir tahun 1937, Sudirman pun terpilih menjadi Ketua Kelompok Pemuda Muhammadiyah Kecamatan Banyumas dan sering memfasilitasi seluruh kegiatan dan pendidikan para anggota kelompok tersebut, entah di bidang agama maupun sekuler. Sudirman bahkan turut serta dalam seluruh kegiatan yang dilaksanakan Kelompok Pemuda Jawa Tengah. Sementara sang istri, Alfiah aktif dalam berbagai kegiatan kelompok putri Muhammadiyah Nasyiatul Aisyiyah.
Saat Perang Dunia II pecah Jepang diperkirakan akan berusaha menginvasi Hindia. Menanggapi hal tersebut, Belanda kemudian mulai mengajari rakyat cara menghadapi serangan udara dengan membentuk tim Persiapan Serangan Udara dan meminta Sudirman selaku sosok yang disegani masyarakat untuk memimpinnya.
Sudirman pun bukan cuma mengajarkan warga setempat tentang prosedur keselamatan dalam menghadapi serangan udara, namun sekaligus mendirikan beberapa pos pemantau di seluruh daerah serta menangani pesawat udara yang menjatuhkan material guna menstimulasi pengeboman agar tingkat respon rakyat lebih siap dan tinggi.
Namun pada tanggal 9 Maret 1942, Gubernur Jenderal Tjarda van Starkenborgh Stachouwer dan Jenderal KNIL Hein ter Poorten menyerah hingga mengakibatkan munculnya perubahan drastis dalam pemerintahan nusantara serta kian memperburuk kualitas warga non-Jepang. Sekolah tempat Sudirman mengajar di Cilacap pun ditutup dan dialih fungsi menjadi pos militer. Namun Sudirman berhasil meyakinkan Jepang untuk membuka sekolahnya kembali walau terpaksa mengajar memakai perlengkapan standar.
Sudirman kian dihormati serta disegani warga setempat, terutama karena keterlibatannya dalam berbagai organisasi sosial dan kemanusiaan seperti menjabat sebagai ketua Koperasi Bangsa Indonesia.
Setelah satu tahun menjabat perwakilan dalam dewan karesidenan Jepang, Syu Sangikai, di tahun 1944 Sudirman diminta bergabung tentara Pembela Tanah Air atau PETA yang didirikan Jepang bulan Oktober 1943 dengan tujuan menghalau invasi Sekutu serta fokus merekrut para pemuda yang belum terkontaminasi Belanda.
Walau sempat ragu, namun Sudirman setuju dan memulai pelatihan di Bogor. Sudirman menjabat sebagai komandan atau daidanco mengingat posisinya di masyarakat dan dilatih perwira serta tentara Jepang serta dipersenjatai peralatan sitaan dari Belanda. Kemudian Sudirman ditempatkan di batalyon Kroya yang berada di Banyumas setelah menjalani pelatihan selama empat bulan.
Ketika tentara PETA pimpinan Kusaeri melancarkan pemberontakan terhadap Jepang pada tanggal 21 April 1945, Sudirman diperintahkan untuk menumpas pemberontakan tersebut. Sudirman menyetujuinya dengan syarat para pemberontak PETA tidak dibunuh serta lokasi persembunyian mereka tidak dihancurkan. Menyerahnya Kusaeri pimpinan pemberontakan PETA tersebut di tanggal 25 April 1945 meningkatkan dukungan pada Sudirman di kalangan tentara Jepang walau ada beberapa perwira tinggi Jepang yang menyatakan keprihatinan mereka atas dukungan Sudirman akan kemerdekaan Indonesia. Sudirman beserta anggotanya kemudian dipindahkan ke kamp di Bogor dengan alasan mengikuti pelatihan namun sesungguhnya mereka dijaga ketat serta ditindas.
Setelah kemerdekaan Indonesia diproklamasikan, Sudirman melarikan diri dari pusat penahanan dan menemui Presiden Soekarno di Jakarta. Presiden pun menugaskannya untuk mengawasi proses penyerahan diri tentara Jepang di Banyumas. Hingga pada akhirnya pada tanggal 12 November 1945 Sudirman terpilih menjadi Panglima Besar Tentara Keamanan Rakyat atau TKR di Yogyakarta didampingi Oerip yang menjabat sebagai kepala staf.
Sembari menunggu pengangkatan, Sudirman memerintahkan serangan ke pasukan Inggris dan Belanda yang berada di Ambarawa pada akhir November 1945. Alasannya adalah karena kota Ambarawa dianggap penting secara strategis mengingat keberadaan beberapa barak militer dan fasilitas pelatihan yang sudah ada sejak zaman penjajahan. Serangan yang dipimpin Sudirman tersebut berhasil memukul mundur pasukan Sekutu ke Semarang. Pertempuran ini hingga kini dikenal dengan Perang Ambarawa, dan membawa nama Sudirman menjadi pusat perhatian tingkat nasional.
Sudirman kemudian dikukuhkan sebagai Panglima Besar TKR tanggal 18 Desember 1945 dan memiliki tugas membentuk dewan penasihat untuk memberikan berbagai saran terkait masalah politik dan militer. Bersama Oerip, Sudirman berusaha mengurangi perbedaan dan rasa tidak percaya di kalangan mantan tentara KNIL dan PETA.
