開皇十三年楊堅以自己結束群雄割據，南北實現統一，國家逐漸富強

開皇十三年（593），楊堅從三龍縣視察回京後，以自己結東群雄割據，使南北實現統一，國家逐漸富強，百姓安居樂業，功比堯、舜為由，宣佈準備修建的避暑離宮取《漢書·董仲舒傳》中“堯舜行德，則民仁壽的“仁壽”二字作宮名，又任命尚書左僕射（宰相）楊素為營仁壽宮總監。對負責仁壽宮總體規劃設計和土木工程運籌的官員，事關成敗，楊堅“訪可任者而詢於素”，早已胸中有數的楊素，不假思索的舉薦前萊州刺史“宇文凱有巧思，上然之，於是檢校將作大匠”負責整個離宮的規劃設計。他又舉薦記室封德彝為土木監，負責整個土木工程及其他建築材料的運籌。為了把這座離宮修的不同凡響，楊素又責成在朝官員舉賢薦能，於是諸如善於工程管理的崔善為，精於風水相地學說的王邵等一批出類拔萃的人才濟濟一堂，在當年春天三月，共同拉開了修建這座離宮之冠的大幕。

組建起這麼高規格的營宮班子，足見楊堅對它的重視和期望，修建首都大興城也不過如此，其他離宮別館更是罕有可比者。左僕射、仁壽宮總監楊素，弘農華陰（今陝西華陰人，士族出身，楊素在年輕時就善於作文章，還寫得一手好字。周宣帝時襲父爵，封臨貞縣公，時楊堅為，兩人互相往來，私交甚厚。楊堅取代北周作了皇帝后，楊素加上柱國，御史大夫。楊堅攻滅陳朝時，楊素率領大軍，奪關斬將，終於滅陳，以功封越國公。左僕射，權傾朝野。開皇十三年（593），他被任命為營仁壽宮總監後，認為是邀功請賞的天賜良機，決心不惜一切代價建造一座豪華壯麗，無與倫比的避暑行宮，使楊堅更加信任和倚重自己，因此，他要求宇文凱規劃設計這座離宮時，一定要別出心裁，力求豪華壯麗。至於營建整個離宮的工程開支預算，他讓封德彝按最高標準，選用的建築材料，不拘道路遙遠艱險，務求上等好材。就是上天摘星，也要造出登天的梯子來。

至於離宮的九重宮闕，朝堂，寢殿，亭臺樓榭，池沼湖泊和衙署百司的次序，位置及內部各官殿組群的互相搭配連線，楊素與宇文凱、王邵等擅長風水星相的官員數次實際到三龍縣觀星望氣，辨正方位，進而取法辰像，使之合乎陰陽五行和風水相地學說。在楊素的墓誌銘中，有這樣的評語：“授仁壽宮大監至於經輪表絮之度，瞻星睽景之宜，莫不裁之秘思，殆侔神造。”

修建離宮開始後，楊素一門心思邀功請賞“督役嚴急，作者多死，宮側時聞鬼哭之聲。”浩大的工程僅用了兩年時間即告成。楊堅讓右僕射高熲前去視察，高熲回去後對楊堅：“奏稱（楊素）頗傷綺麗，大損人丁。”楊堅聽後很不高興，楊素知道後，心中害怕，於是到後宮向獨孤皇后說：“帝王法有離宮別館，今天下太平，造此一宮，何足損費。”獨孤皇后讓楊素不用怕，說她自有主張，她勸慰楊堅：“素念吾夫婦年老，無以自娛，盛飾此宮，何罪之有！”

楊堅想想也對啊！因此怒氣漸消，並“賜錢百萬，錦絹三千段”給楊素，以表彰他營建仁壽宮的功勞。一場“仁壽宮成，帝業半傾”的驚天大案就這樣化為烏有。仁壽四年（604），楊素在他監修的仁壽宮中，一手策劃、導演了弒楊堅、扶楊廣登基的血腥。楊素被封楚公，授司徒，居三公之位，總司百揆。於大業二年（606）死於洛陽。

唐代政治家魏徵給楊素一生的評語可謂貼切：“考其夷兇靜亂，功臣莫居其右，覽其奇策高文，足為一時之傑。然專以智詐自立，不由仁義之道，阿諛時主，高下其心，營構離宮，陷君於奢侈，謀廢冢嫡，致國於傾危，終使宗廟丘墟，市朝霜露。究其禍敗之源，實乃素之由也。”檢校將作大匠宇文凱，隋朔方（今陝西靖邊）人，出身鮮卑貴族家庭，在北周以功臣子弟，初為千牛，累遷御正中大夫，他“博覽群書，多習技藝”為他一生從事多項大型建築奠定了紮實的基礎。