अब तक सरदार पटेल लोगों के दिलों की धड़कन बन चुके थे। उन्होंने अपनी मोटी कमाई त्यागकर बारदोली, नागपुर तथा बोरसद के आंदोलनों का सफल नेतृत्व किया था। इसलिये ई.1924 में अहमदाबाद की जनता ने सरदार पटेल को अहमदाबाद नगर पालिका का अध्यक्ष चुन लिया। अहमदाबाद उन दिनों गंदा शहर हुआ करता था। पटेल ने लोगों को सफाई के लिये प्रेरित करने हेतु स्वयं हाथ में झाड़ू लेकर शहर की सफाई की।
उन्होंने शहर में पार्क, खेल के मैदान एवं मनोरंजन केन्द्र विकसित किये। पटेल ने नगर पालिका में प्रस्ताव पारति करवाया कि नगर पालिका द्वारा संचालित समस्त स्कूलों को सरकारी नियंत्रण से मुक्त कर दिया जाये, क्योंकि सरकारी नियंत्रण के कारण स्कूलों में सरकारी दृष्टिकोण से शिक्षा दी जाती थी। पटेल ने इंस्पेक्टर ऑफ स्कूल्स को लिखा कि अब वह नगर पालिका के स्कूलों को न तो अनुदान भेजे और न निरीक्षण करने के लिये आये।
नगर पालिका में पारित प्रस्ताव पर कमिश्नर ने नाराजगी व्यक्त की तथा उस प्रस्ताव को निरस्त करते हुए आदेश दिया कि नगर पालिका अपने समस्त स्कूल सरकार को सौंप दे। इस पर नगर पालिका ने अपने समस्त स्कूल एक माह के लिये बंद कर दिये तथा सरकार को लिखा कि वह अपने 300 अध्यापकों को वापस बुला ले। सरकार के लिये बहुत बड़ी समस्या खड़ी हो गई कि वह इन्हें कहां खपाये?
इस पर सरकार ने इन स्कूलों के हिसाब की जांच करने के लिये एक इंस्पेक्टर नियुक्त किया। इस पर सरदार पटेल ने जवाब भिजवाया कि जब हम सरकार से अनुदान ही नहीं ले रहे तो जांच किस बात की ? यह सीधा टकराव था जिसके कारण गोरी सरकार बुरी तरह से तिलमिला गई।
कमिश्नर ने नगर पालिका को नोटिस भेजा कि वह अपने कर्त्तव्य का पालन नहीं कर रही इसलिये सरकार समस्त स्कूलों को सरकारी नियंत्रण में ले रही है। कमिश्नर ने सरकार को लिखा कि अहमदाबाद की नगर पालिका को भंग कर दिया जाये। कमिश्नर की अनुशंसा पर सरकार ने नगर पालिका बोर्ड को निलम्बित करके उसके संचालन के लिये एक समिति का गठन कर दिया। वल्लभभाई ने सरकार की समस्त कार्यवाही का तीव्र विरोध किया।
यह सारा विवाद स्कूलों को लेकर आरम्भ हुआ था इसलिये सरदार पटेल ने समानान्तर शिक्षा के लिये राष्ट्रीय शिक्षा संस्थानों की स्थापना का निर्णय लिया। उन्होंने अहमदाबाद की जनता से इन स्कूलों की स्थापना के लिये चंदा देने की अपील की। जनता ने शीघ्र ही 1.25 लाख रुपये चंदा जमा करवा दिया।
सरदार पटेल ने इस राशि से अहमदाबाद में 43 राष्ट्रीय स्कूलों की स्थापना करके सरकार को करारा जवाब दिया। दो वर्ष तक चले व्यापक संघर्ष के बाद सरकार ने हार मान ली तथा नगर पालिका बोर्ड को फिर से बहाल कर दिया। ई.1928 तक सरदार पटेल उसके अध्यक्ष बने रहे।
