一路上，姜白石都无法忘怀临别时恋人的叮嘱：公子可要早些回来呵，怕我这孤独的红萼花儿无人为主。最后那一声“早早归来”的叮嘱，足以让姜夔柔肠寸断、肝胆俱碎，纵使用天底下以锋利著称的并州剪刀，也难以剪断这千丝万缕的离愁。
“韦郎去也，怎忘得玉环分付”两句化用了《云溪友议》中记载的唐代韦皋、玉箫的爱情故事。韦皋年轻时游江夏云梦泽，爱上了好友姜使君家的侍女玉箫。两人分别时，“因留玉指环一枚，并诗一首”，相约五至七年后前来迎娶。玉箫痴心苦等，到了第八年仍未见韦皋来。最后玉箫叹道：“韦家郎君，一别七年，是不来矣！”便绝食而死。姜氏悯其节操，将玉环戴在其中指上一同埋葬。
姜白石在此以韦皋自指，但意思正好反过来，表明自己不会像韦郎那样负约。韦郎离开了，怎能忘怀那玉环的临别叮嘱？他永远不会像韦皋那样一去不回。