公元584年，为了解决粮仓的漕运，隋文帝杨坚便开始了大运河的开挖。自大兴城西北引渭水，循着汉代漕渠故道而东，至潼关入黄河，长150多千米，起名叫广通渠。公元604年，改名永通渠。

公元605年，杨广继位第一年就征发百万士兵和夫役，修造通济渠，以满足社会经济交流的迫切需求，并不是后世所说的为了个人享乐，并不是为了让纤夫拉着画舫周游千山万水。同年又改造邗沟。

公元608年，隋大业四年，杨广发动数百万民工开挖大运河，拓宽开深山阳渎，又开通永济渠，连接洛河、黄河、汴河、泗水达于淮河。

公元610年，大业六年，拓宽加深江南运河以达杭州，同时由洛阳附近凿永济渠通往流经卫地的清水河，清水河经临清转天津，全线南北沟通。豫北境内的隋代大运河引沁水往南与黄河贯通，北分沁水一部分通过长明沟（小丹河）、吴泽坡（河南获嘉县境内），与清水相连，经汲县（河南卫辉），流到宿胥故渎（清水渎，浚县堤壕村西南），在浚县淇门开挖新渠引水，向东北流去，向北与白沟相接，得九河之故道，从黎阳（浚县）、临河（浚县东）、内黄、魏（河北大名县西）、馆陶、临清、清河、武城、长河（山东德州）、东光、南皮、清池（河北沧县东南）等地，至天津再西北行，最后到达涿郡所在地蓟城（北京西南），长约2700千米。杨广开凿大运河前后用了6年时间，这是世界上最伟大的工程之一，是华夏南北交通的大动脉。

《浚县志》记载：“隋大业四年，炀帝征发河北民众百余万，浚曹操所开白沟故道，开挖永济渠，南达于河，北通涿郡，长达两千余里，黎阳县（浚县）境内长百余里。”建安九年，官渡之战后，曹操准备攻打邺城，为了便于粮草水运，曹操在浚县枋头用大枋木筑堰，遏淇水入白沟，直通邺城。隋代大运河浚县段是在曹操挖出旧水道的基础上，利用部分天然河道开挖而成。

豫北境内的隋代大运河隋代时期称永济渠，宋代又称御河。明代有人认为，御河流经的地方多在春秋时的卫国，所以改称御河为卫河。卫河源头一支自辉县市苏门山麓流出，一支自博爱县的皂角树村流出，两支流在新乡县合河村西汇合，经河南新乡，在新乡汇聚几个小支流后过卫辉、浚县，在浚县南端新镇坊头村接纳淇河之水，然后经滑县县城道口，再过浚县浮丘山西麓向北流去。

据说因淇水入黄河一事，隋炀帝杨广曾到淇河卫地，立于淇门河口，现场指导通河工程，后来淇水得禹九河之故道，隋朝便将故道命名为御河。开挖大运河的同时，隋炀帝杨广在运河两岸筑起御道，种上杨柳树。从长安到江都，沿途建造离宫40多处，沿运河还建立了许多粮仓，作为转运或贮粮之所。当年沿隋代大运河两岸的粮仓有：

黎阳仓，位于卫州黎阳县西南大伾山麓，也就是今河南浚县城东二里大伾山北，开皇三年置。该仓当年西濒永济渠，东临黄河，河北的皇粮都先集中于此，然后再运往洛阳、长安。用兵东北时，由江淮运来的军粮，也先储藏在这里，然后由此运往东北，是河北地区唯一重要粮仓。隋末几次征辽，都曾派人在此督运漕粮。杨玄感据黎阳反隋，物资和经济基础便是凭借了黎阳仓内的储粮。

广通仓，位于今陕西华阴市东北三十五里渭河入黄河处，在今潼关附近，大业初改名永丰仓，开皇三年置。关东漕米运入关中，都先集中于此，地位重要，是关中地区最大的粮仓。隋开皇五年，曾出广通仓米三百余万石以解决关中地区严重旱灾所造成的缺粮问题。隋代之际，能否占有永丰仓是能否占有关中地区一个很重要的因素。

洛口仓，位于洛州巩县东面洛水东岸，大业二年置。筑仓城周围二十余里，设仓三千窖，每窖容八千石，置监官并镇兵千人守卫。全仓储米约有二千四百万石，是隋代最大的一个粮仓。

回洛仓，位于洛阳城北七里，大业二年十二月置。仓城周围十里，设仓三百窖，是隋代东都洛阳的粮库。唐以后由含嘉仓所代替。

河阳仓，位于偃师县，开皇三年置。该仓北依邙山，地势高燥，适宜储粮。

常平仓，位于陕州(陕县)西南四里，开皇三年置。其地临焦水，西俯大河，地势高平，史称陕州太原仓，地控两京，可蓄巨万。

其中的黎阳仓、广通仓、河阳仓、常平仓被称为天下四大官仓。当时全国的粮食调运，江淮以南的役夫和船只以及漕运、兵甲、武器、兵士等都是通过隋代大运河运往涿郡的。大运河的开通，给中国早期南北水运带来很大的便利，促进了运河两岸城市的发展，江都、余杭、涿郡等城市很快繁荣起来。当时大运河上商旅往返，船乘不绝，大运河对隋代时期南北经济、文化交流，维护全国统一和中央集权制的加强，都起了促进作用，写下了中华民族水运史上的重要篇章。

自公元1283年起，元朝用了10年时间开挖洛州河和会通河，并建设闸坝，渠化河道，把天津到江苏淮阴之间的天然河道与湖泊连接起来，与邗沟和江南运河贯通。自此，大运河不再绕道洛阳再经淇河卫地便可直达杭州，终于成就了今天的京杭大运河。京杭大运河北起北京，南到浙江杭州。