بدأت الفكرة للدولة الجديدة في يثرب بعد تمام بيعة العقبة الأولى في موضع بمنطقة منى بالقرب من مكة المكرمة، حيث ارتحل بعدها مصعب بن عمير مع حجاج الأوس والخزرج إلى المدينة؛ ليكون مرشدًا ودليلًا ومعلمًا لهم في قراءة القرآن الكريم والحديث النبوي، والعمل بما جاء فيهما، وشرح العقيدة وإيضاح المنهج الإسلامي من خلال العبادات والمعاملات والأخلاق، التي تنظم العلاقة بين سائر المسلمين ومن جاورهم والتقى بهم، وتعامل معهم.