गोलमेज सम्मेलन के बाद गांधी ने लंदन में भारत मामलों के मंत्री होरे से भेंट की तथा उनसे अनुरोध किया कि वे भारत की समस्या का समाधान करें। होरे ने गांधीजी को दो टूक जवाब दिया कि आपको कुछ नहीं दिया जायेगा और अब हम कांग्रेस को टिकने भी नहीं देंगे।
इस प्रकार 28 दिसम्बर 1931 को गांधीजी अंग्रेजों के दरवाजे से एक बार फिर खाली हाथ लौट आये। नये वायसराय लॉर्ड विलिंगडन ने कांग्रेस को अवैधानिक संस्था घोषित कर दिया। 4 जनवरी 1932 को सरकार ने बिना कोई कारण बताये सरदार पटेल और गांधीजी को यरवदा जेल में ठूंस दिया। सरदार पटेल ने गांधीजी के साथ यरवदा जेल में 16 महीने बिताये। गांधीजी चाय तथा चावल का सेवन नहीं करते थे।
इसलिये इस दौरान सरदार पटेल ने भी न तो चाय पी और न चावल खाये। वे हर समय गांधीजी का पूरा ध्यान रखते और उनके छोटे-छोटे कार्य करते थ्रे। गांधीजी प्रातः चार बजे उठते थे, पटेल भी चार बजे उठ जाते। यदि गांधीजी उससे पहले उठते तो पटेल भी उसी समय उठ जाते। गांधीजी कहते कि आप थोड़ा और सो लें तो पटेल का जवाब होता कि यह कैसे हो सकता है कि आप जागें और मैं सोऊं ? जेल से रिहा होने के बाद गांधीजी ने अपनी डायरी में लिखा कि सरदार ने जेल में मेरी इतनी सेवा की कि मुझे अपनी माँ की याद आ गई।
जेल जाने के कुछ समय बाद ही सरदार पटेल की माता का निधन हो गया। सरकार ने सरदार को कुछ शर्तों पर रिहा करने का प्रस्ताव दिया किंतु पटेल ने बिना शर्त रिहा होने की मांग की। सरकार ने पटेल को बिना शर्त रिहा करने से मना कर दिया। पटेल ने अपनी माता के निधन का शोक जेल में ही सहन किया।
अगले वर्ष 1933 में सरदार को समाचार मिला कि उनके अग्रज विट्ठलभाई का विदेश में निधन हो गया है। उनका पार्थिव शरीर अंतिम संस्कार के लिये बम्बई लाया गया। सब लोगों की इच्छा थी कि वल्लभभाई उनके अंतिम संस्कार में सम्मिलित हों किंतु सरकार ने उन्हें फिर से कुछ शर्तों पर रिहा करने का प्रस्ताव दिया और वल्लभभाई ने इस बार भी सरकार की शर्तें मानने से मना कर दिया। सरकार संभवतः अब तक नहीं समझी थी कि यह इंसान हाड़-मांस से नहीं, लोहे से बना था।
जेल में वल्लभभाई का स्वास्थ्य खराब हो गया। उनकी नाक की तकलीफ बहुत बढ़ गई। इस कारण सांस लेना कठिन हो गया। डॉक्टरों के एक दल ने सरदार के स्वास्थ्य की जांच की तथा उन्हें तुरंत ऑपरेशन करवाने की सलाह दी। अंततः गोरी सरकार उन्हें बिना शर्त रिहा करने को तैयार हो गई। ई.1934 में सरकार ने पटेल को रिहा कर दिया। पटेल यरवदा से बम्बई पहुंचे। इस प्रकार लम्बा कष्ट झेल चुकने के बाद उन्होंने अपनी नाक का ऑपरेशन करवाया।
