在寿春城内住了近十天时间，杨广对淮河以南地界与关中、中原等地迥然不同的气候、景象产生了浓厚的兴趣，渐渐地又生出了微服私行赶往广陵的想法。
可是，当他把这一想法透露给了张衡，征求他的意见时，却遭到了他的强烈反对。
“王爷，如今形势与八年前王爷出镇并州时大不相同，王爷身为三路伐陈兵马大元帅，一身安危关乎到伐陈的成败，切不可轻举妄动，因小失大啊。且淮南与关东、河北又有不同，前次王爷微服私行，所过之地俱在大隋境内，而目下南陈军队虽已退守江滨，但据下官向王子相了解，彼仍时常派军袭扰江北民间，可以说目前江淮之间敌我双方占领地界仍处于犬牙交错之势，王爷不可不谨慎处之啊。”
张衡一提出明确的反对意见，段达、李浑等骠骑营将领皆附和着提出了各自的反对意见。
杨广见随行众人皆明确反对自己微服私行，只得佯称接受众人的建言，不再坚持微服私行赶往广陵，可没过两天，他又向王韶提出要乘船巡视南陈的沿江防线，以便对部署对陈作战做到心中有数。
王韶再三劝说，仍无法说服杨广，只得勉强答应了他的这一要求。考虑到随杨广南来的骠骑营诸将皆为北人，不习水战，王韶专门给杨广派来了一位水军大将来护儿，负责保护和陪同杨广乘船巡视江面，取水路赶往广陵与高颖等人会合。
按照王韶的安排，本应由张衡、段达等人率领五百骠骑护送杨广抵达沿江的安州瓜口渡，再由在此等候的来护儿率领水军护送杨广从水路乘船顺流而下，赶往广陵。
可杨广心中既存着一份微服私行的心思，便不肯在五百骠骑的随行护从下出城前往瓜口渡与来护儿会合，趁一日张衡被王韶邀去清点各路兵马的空当，背着段达、李浑等人，只带了刘方、鲜于罗两名近卫，对守门的军士诈称要到城内随意逛上一逛，悄悄骑马溜出了行台衙署，纵马扬鞭，直奔寿春南门疾驶而去。
两名近卫中，刘方为人行事一向持重，眼见杨广口称要带自己和鲜于罗二人逛街，却出了行台衙署大门，打马直奔南城门而来，像是要出城，急忙上前拦阻，却被杨广疾言厉色地喝退了。
刘方无奈，只得趁出城门的机会，暗地里命令城门处的守军速报信给王韶，请他亲自来劝阻杨广擅自出行。
头两天，杨广已向淮南道行台的官员们详细打听了从寿春前往安州瓜口渡的行程路线，因此带着刘方、鲜于罗两人一出了寿春城，没有半点儿的迟延，当即顺着事先打听好的路径策马朝南跑了下去。
既是微服私行，体察当地民风民情，杨广骑马出城跑了一阵子，回头见身后并没有追兵赶来，遂放松了缰绳，将跨下“铁蹄龙”行进的速度放缓了下来，一路观赏着风景不急不徐地骑马而行，不时地还和路上的行人、路边水田地忙碌的农夫搭讪几句，打听打听当地的风土人情。
就这么走了有大半天的光景，眼瞅着天色渐渐暗了下来，经向路人打听后方知，前方距离安州城尚有七八十里地远，估摸着今晚赶到安州最早也要到半夜三更时分了。
杨广遂命鲜于罗到就近的村落里寻下一个合适的住处，准备在半道住上一晚，待明日天亮再从容赶往安州。
可沿途之上杨广只顾着和路上邂逅的行人、农夫攀谈，采访民情，浑然不知当发现天色将黑之时，他们一行三人已进入到了一片深山之中。勒住马放眼四望，根本见不到附近有可供借宿的人家，更甭提村落了。
“王爷，此处不宜久留，咱们还是趁早赶路，今夜争取赶到安州城内再歇宿吧。”刘方见道路两旁大树参天，阴风习习，着实担心半道上会出变故，忙劝说杨广道。