公元589年，隋灭陈。隋文帝遂下令荡平建康城，以石头城为蒋州治所，隋炀帝时改为丹阳郡。

此后隋、唐两朝相继采取抑制南京的策略，将扬州治所自金陵迁至广陵，曾一度取消南京州一级的建制。唐初，杜伏威、辅公祏义军占据丹阳郡，归顺唐廷，唐改丹阳为归化。杜伏威入朝被扣不返，辅公祏起兵反抗，建立宋政权。其后唐平江南，置升州。

玄宗年间的升州尚无六朝古都的底蕴，风头为扬州所掩，空有虎踞龙盘的地势，却无冠绝天下的繁华。