Hz. Peygamber, Yesrib'e hicret ettiğinde buradaki mahalle sayısı Mekke'den daha azdı. Arap ve Yahudi kabileleri, kendi mahallelerinde yaşıyorlardı. Evlerin birbirine paralel ve bitişik olarak sıralandığı, Hz. Peygamber'in şehre girişi sırasında geçtiği güzergahın tasvirinden anlaşılmaktadır. Ayrıca şehrin üç tarafı bahçeler ve bunları birbirinden ayıran çitler ve alçak duvarlarla çevrilmişti. Bu duvarlar arasındaki yollar oldukça dar idi. Hz. Peygamber, Medine'ye geldiğinde, şehirde daha çok Yahudilerin oturduğu taş yapılar bulunuyordu. Bu binalar üç katlıydı ve kale olarak kullanılabilecek büyüklükteydi. Hz. Peygamber, şehrin fiziksel yapısında önemli bir yere sahip olan bu yapıların korunmasını istedi ve hicretten sonra bunlara yenileri eklenmiştir.
Medine, hicret sırasında tam anlamıyla şehirleşmemişti ve tarıma dayalı bir ekonomiye sahipti. Bu nedenle kentleşme teşvik edildi ve şehrin İslamlaşması ile medenileşmesi arasında paralellik kurulmaya çalışıldı. Bu bağlamda, idare ve savunma, ekonomi ve pazar, dinî hayat gibi medeni yaşamın en önemli üç fonksiyonu sırasıyla düzenlendi. Şehir planı, Mescid-i Nebevî'nin merkezi olmak üzere geliştirildi ve bazı yapılar korundu. Yeni yerleşim düzenlemeleriyle mahalle sayısı artarken, bazı kenar semtler de şehrin bir parçası haline getirildi. Fetihlerle birlikte gelirler arttıkça, geniş ve gösterişli evler ile konak tarzı yapılar inşa edilmeye başlandı. Emevî döneminde, Akik Vadisi'nde yapılan köşklerle Medine şehrinin en lüks semtlerinden biri haline geldi. Mescid-i Nebevî, bir ibadethane işlevinin yanı sıra, daha sonraki dönemlerde ortaya çıkacak birçok sosyal kurumu bünyesinde barındıran ve külliye adı verilen bir geleneğin de çekirdeğini oluşturdu. Harem-i şerifin genişletilmesi ve çevresinin düzenlenmesi, şehrin fiziksel yapısında önemli değişikliklere neden oldu. Su şebekesi, kamu sağlığı ve şehir içi ulaşımın sağlanması için sürekli tedbirler alındı ve şehrin fiziksel yapısına sosyal ve kültürel bina kompleksleri eklendi. Medine'de Mescid-i Nebevî'nin dışında inşa edilen mescidler, Hz. Peygamber tarafından planlanmış ve kıble tayini yapılmıştır. Hz. Peygamber, vefat eden sahabelerinin defni için Baki mezarlığını şehir planına dahil etti ve burası Cennetü'l-Baki olarak bilinmeye başlandı. Abbasîler döneminden itibaren, halifeler, hanedan mensupları ve diğer ileri gelenler tarafından oluşturulan zengin vakıflar sayesinde, idari binalar, mescidler, medreseler, tekke, zaviye, ribat, imaret ve sebiller inşa edildi ve bunlar, şehrin fiziksel yapısını güzelleştirirken, ekonomik hayata da önemli katkılar sağladı. Medrese, tekke, zaviye ve ribatlar, hac mevsimlerinde Medine'ye gelenler için misafirhane görevi de görmüştür. Malzemelerin genellikle Hicaz dışından getirilmesine rağmen, şehirde inşaat yapmanın bir prestij unsuru olduğu düşünülmüştür.
Şehri bedevi kabilelerin saldırılarından korumak için surlarla çevrilmeye ihtiyaç vardı. Bu amaçla, 971 yılında Büveyhî Hükümdarı Adudüddevle tarafından taş ve kerpiç kullanılarak inşa edilen surların, Cennetü'l-Baki, Uhud, Kubâ ve Akik'e çıkan dört adet ahşap kapısı bulunmaktaydı. Bu surlar zamanla harap oldu ve 1145-46 yıllarında Medine'de bir medrese yaptırmış olan Zengîler'in ünlü veziri Cemâleddin el-İsfahânî tarafından yeniden inşa edildi. Ancak, kısmen kuşatan surlar, bedevi saldırılarına karşı yetersiz kaldığı için Nûreddin Mahmud Zengî, 1162 yılında yeni bir sur yaptırmıştır. Bu sur, daha sonraki dönemlerde tamir edilmiştir. Adudüddevle'nin yaptırdığı hastaneyi de Memlûk Sultanı I. Baybars tamir ettirmiştir.