其实，从并州召回杨广的决心，杨坚早就下了，之所以拖至今日仍未正式下诏召回杨广，主要是没有择定杨广继任者的人选。
达头可汗降隋后，按杨坚的本意，是想调出镇西北的三儿子秦王杨俊到并州接替杨广，出任河北道行台尚书令，并州总管的，可是杨俊不知受了什么人的挑唆，头一个明确向自己提出，要出任伐陈元帅，率军攻灭南陈，坚决不愿意坐享其成，到并州接替杨广。
毕竟是父子之间，儿子既然志不在此，当爹的也不便太过勉强于他，且考虑到西突厥达头虽已向大隋称臣，但其麾下收拢了阿波部族的残兵败将，论军力远远超过东突厥，杨俊作为出镇西北的藩王，一时还不宜离开西北，两下结合到一处，迫使杨坚只得暂且打消了调杨俊前往并州接替杨广的念头。
除此之处，杨坚也曾动过调现在西南益州出镇的蜀王杨秀北上，接替杨广的心思，但旋即自已就主动否定了杨秀这个人选：一来杨秀镇守之西南巴蜀地界紧扼长江上游，一旦兴兵攻陈，必将牵涉西南，杨秀出镇益州多年，对当地的风物人情都颇为熟悉，留他驻守西南，必将有利于配合朝廷大军攻陈；二来，经上次杨秀虐待羌人一事（后在元岩等人的辅佐下，还是平定了羌人叛乱），杨坚心中对杨秀产生了信任危机，不大放心调他到河北与突厥（突厥对华夏王朝的威胁，自非偏居西南一隅的羌人部落可比）打交道。
接下来，就只剩下了最小的儿子——汉王杨谅可派往并州换回杨广了。
杨谅虽然年仅十三岁，恰和开皇元年杨广离开父母身边出镇并州的年岁相仿，然无论头脑灵活，还是行事沉稳，都不输于杨广，甚至在某些方面还要胜过杨广当年，派他到并州换回杨广，倒是比杨秀还要强些。
可是，由于杨广、杨俊、杨秀等兄弟三人早在六年前就离开父母身边，分赴各方出镇去了，这几年除了早已长大成人，娶妻生子的太子杨勇，和杨坚、独孤伽罗共同生活（早在杨广三兄弟相继离开长安，出镇各方后，杨谅就被接入宫中与父母同住了）的只有这个最小的儿子了。
五六年下来，撇开杨坚不论，独孤伽罗对杨谅的宠爱甚至还要超过了杨广。
于是，当杨坚婉转地同妻子商量，打算派小儿子到并州换回杨广时，又遭遇到了开皇元年杨广出镇并州前一模一样的情形：独孤伽罗舍不得放小儿子离开自己的身边，去往千里之外的并州和突厥人打交道。
就这样，直至转过年来进入了开皇六年，独孤伽罗才露出口锋，勉强答应放小儿子到并州换回杨广了。
为了让妻子放心，杨坚特地给杨谅配备了一个堪称当世无双的豪华僚属阵容：从西北调回刀斩阿波可汗的史万岁出任总领汉王府军事兼并州行军总管；册任现任兵部尚书杨尚希为河北道行台左仆射；册任司农少卿崔仲方为河北道行台右仆射兼汉王府长史......特别值得一提的是，杨坚还忍痛割爱，将近卫军中的后起之秀——新任内殿值长的李靖配给了杨谅，充做他的近卫。