Hicretten önce, Medine'de herhangi bir idari yapı veya düzenleme bulunmuyordu. Her kabile veya grup kendi içinde bağımsız olarak yaşamını sürdürüyor ve kendi kurallarına göre hareket ediyordu. Ancak, şehrin ekonomik hayatına hâkim olan Yahudiler zaman zaman idari konularda Arapları etkisi altına alıyordu. Hz. Peygamber'in Yesrib ile ilgili ilk düzenlemesi, kendisi Medine'ye hicret ettikten sonra buradaki müslümanlarla iletişimi sürdürebilmek için Evs ve Hazrec kabilelerinden on iki nakibin seçilmesiydi. Hz. Peygamber ve muhacirlerin Medine'ye gelmesinin ardından, yeni siyasi, hukuki ve sosyal yapılar oluşturuldu ve Medine devletin başkenti haline geldi. Bu süreçte hisbe ve şurta gibi kurumlar da ortaya çıktı. Hz. Peygamber Medine'den ayrıldığında, yerine bir vekil bırakırdı. Daha sonra, Hulefâ-yı Râşidîn döneminde, sınırları Arap Yarımadası'nın dışına ulaşan ve hızla büyüyen devlet Medine'den yönetilmeye devam etti.
Hz. Ali döneminde hilafet merkezinin Kûfe'ye taşınmasından sonra, Medine, merkezden atanan Haremeyn valileri tarafından idare edildi. Emevî ve Abbâsî dönemlerinde, Medine merkezli isyanlar baş gösterdi ve bazı valiler şehirden çıkarıldı veya kaçmak zorunda kaldı. Bu dönemde, şehirde hem isyancılar hem de merkezi hükümet tarafından atanan valiler bulunabiliyordu. Emevîler ve Abbâsîler, Medine'ye ayrı bir önem vermiş ve özel görevliler aracılığıyla hem yöneticileri hem de halkı sürekli olarak denetim altında tutmuşlardır. Abbasîler, Muhammed en-Nefsüzzekiyye hareketini bastırdıktan sonra Medine'deki halkı daha sıkı bir şekilde denetledi. Şehir bir süre Tolunoğulları ve İhşîdîler tarafından yönetildi. İhşîdîler'den sonra, Hüseynîler şehri genellikle kendi adlarına veya zaman zaman Hasenî Mekke emirlerine bağlı olarak idare ettiler. Bu durum, Osmanlı döneminde Medine'nin Mekke Emirliği'ne bağlanmasına kadar devam etti. Eyyûbîler ve Memlûkler döneminde ise, Medine'nin idari ve siyasi otoritesi genellikle Harem-i Şerif'te görevlendirilen hadimlerin başkanı olan şeyhülharem tarafından temsil edildi.