जेल में पटेल को सामान्य कैदियों के साथ रखा गया। उन्हें खाने के लिये ज्वार की रोटी, थोड़ी सी सब्जी या दाल दी जाती थी। सोने के लिये एक कम्बल दिया गया था। किसान के बेटे को इस प्रकार की जिंदगी में कोई कठिनाई नहीं हुई। वे जेल में गीता का पाठ करते और बंदियों को स्वतंत्रता आंदोलन में भाग लेने के लिये प्रेरित करते।
वे कभी भूलकर भी जेल कर्मियों पर क्रोध नहीं करते। यदि कोई कर्मचारी दुर्व्यवहार करता तो भी सरदार शांत रहते। वे कहते थे कि ये मेरे ही देशवासी हैं, यदि ये गोरे होते तो मैं इन्हें कुछ कहता। दुःख की बात है कि हमारे देशवासी, पेट भरने के लिये विदेशी गोरों की चाकरी करते हैं। यदि ये सरकार की नौकरी छोड़ दें तो सरकार एक दिन भी भारत में न टिक सके।
एक बार कमिश्नर गेरेट जेल के दौरे पर आया। उसके सम्मान के लिये समस्त कैदियों को एक पंक्ति में खड़े होने के लिये कहा गया। सरदार ने पंक्ति में खड़े होने से मना कर दिया और कहा कि ऐसा करना मेरे आत्म-सम्मान के विरुद्ध है। जेल का दौरा करने के बाद गेरेट ने सरदार से भेंट की।
तब सरदार ने उससे कहा कि यदि आप यह सोचते हैं कि आपने नेताओं को जेल में बंद करके आंदोलन को दबा लिया है तो यह आपकी भूल है। करोड़ों भारतवासी आज भी अपनी आजादी के लिये संघर्षरत हैं।
यदि आप हमसे कोई बात करना चाहते हैं तो पहले समस्त नेताओं को जेल से रिहा कीजिये। गेरेट को सरदार की किसी बात का कोई जवाब नहीं सूझा, वह चुपचाप उठकर चला गया।
सजा की अवधि पूरी होने पर 26 जून 1930 को सरदार को रिहा कर दिया गया। जब सरदार जेल से बाहर निकले तो उन्होंने पाया कि 6 मई को गांधीजी को बंदी बना लिया गया है और वे जेल जाने से पहले मोतीलाल नेहरू को अपना उत्तराधिकारी बना गये हैं।
जब सरदार जेल से बाहर आये तो मोतीलाल ने उन्हें अपना उत्तराधिकारी घोषित किया। 30 जून को मोतीलाल को भी बंदी बना लिया गया। इस कारण पार्टी की बागडोर पटेल के हाथों में आ गई।
जेल से बाहर आने पर पटेल को ज्ञात हुआ कि उनकी अनुपस्थिति में भी लोगों ने संघर्ष जारी रखा है। रास में, जहाँ पटेल की गिरफ्तारी हुई थी, सत्याग्रह अपने चरम पर था। लोगों ने विदेशी कपड़ों की होली जलाने का कार्यक्रम चला रखा था तथा सरकार को लगान नहीं दिया था।
गुजरात के गांव-गांव में नमक कानून का उल्लंघन किया जा रहा था। लोग विदेशी माल की होली जला रहे थे। महिलाएं बड़ी संख्या में एकत्रित होकर शराब की दुकानों पर धरने दे रही थीं। सरदार पटेल को इन सब बातों से बहुत संतोष हुआ। उनकी मेहनत रंग ला रही थी और लोगों में स्वतंत्रता के संस्कार जन्म ले रहे थे।
