संविधान सभा में सरदार पटेल ने सक्रिय भूमिका निभाई। उन्होंने डॉ. भीमराव रामजी अम्बेडकर को संविधान की प्रारूप समिति का अध्यक्ष बनवाने के लिये नेताओं को सहमत किया तथा अम्बेडकर के पक्ष में वातावरण तैयार किया। सरदार पटेल संविधान सभा की अनेक महत्त्वपूर्ण सामितियों यथा अल्पसंख्यक समिति, आदिवासी समिति, मौलिक अधिकार समिति तथा प्रांतीय संविधान समिति के अध्यक्ष थे।
पटेल ने संविधान सभा में प्रांतीय संविधान का मॉडल प्रस्तुत किया जिसमें राज्यपालों को अत्यंत सीमित अधिकार दिये गये। पटेल चाहते थे कि राज्यपाल किसी भी स्थिति में, चुनी गई सरकार के कामकाज को प्रभावित न करें। पटेल ने ही राष्ट्रपति द्वारा संसद में दो एंग्लो इण्डियन्स को नामित करने का प्रावधान करवाया।
