南宋朝廷无心作战，虞文辉大军所指，连战连捷，此时南宋终于反击，尤其是两位抗元名将，正是余玠和张钰，在历史上都曾大败元军。此二人用兵犀利，连战连捷，羽冲恒终究出身草莽，兵法远不及对手，一度退出了明州城。
羽冲恒虽然不敌宋军的反扑，却把明州所有的海船都带走，甚至把明州大多数人的口都撤出，让宋军得了一座空城。
历史上，南宋虽然对蒙古有胜有败，但因为人口充足，屡次大战之后，都能重新征召大军反击。
但虞文辉的授田制度，却让大多数汉人更愿意在他治下生活。毕竟有的田种，生活无忧，不须颠沛流离，名义上也非是在异族治下。虞文辉把自己是名人之后的优势，宣传的淋漓尽致，甚至把自己的家谱都明目张胆的贴满了每一个城池的醒目处，深入每一个村落，所以这些汉人并不以被他统治为羞耻。
汉军收复了明州，却发现此战所获，就连消耗的军粮都没法补充，更是一艘海船都不能抢夺回来，经过商议之后，四路大军留下两路镇守，另外两路去寻机跟蒙军决战。
虞文辉所部跟这两路大军交战数次，虽然互有胜负，但虞文辉却每次大战都能补充军队，补充军需，这两支汉人军队虽然勇猛，却得不到支援。
双方酣战数十场，虞文辉趁机调动另外一直兵马直扑临安，宋理宗大惊之下，派人出城谈判，虞文辉当即索要两路宋军的将领，并且许以三座城池为代价。
宋理宗权衡之下，居然答应了，亲自下令把两位两路宋军的统帅召回，送入虞文辉大军之中，虞文辉得了这两名将领，如约退兵，真的还了三座城池。
这一次合议，让虞文辉名声暴涨，南宋民心军心尽失。
此战之后，虞文辉得了便宜，每遇到低档不得的宋军，就跟大宋朝廷以城池换人，屡屡得手。因为虞文辉的这个战术，大宋朝廷居然失而复得了十余座城池，顿时君臣弹冠相庆，只觉得用几个军汉换了这么多城池，实在是大大便宜。
甚至到了后来，虞文辉欲攻打那座城池，只要兵马到位，宋朝就会派人送上名单，让他挑选将领……
虞文辉在兵围襄阳的时候，南宋朝廷甚至把后世主持襄阳防御的吕文焕，送到了他的手里。此人在历史上主持襄阳之战，力扛蒙古大军六年，最后是因为得不到支援，又被蒙人以阿拉伯炮投入战斗，不得已才投降，也算是难得的将才。
到得后来，不用朝廷送，就有大批将领带了手下士兵倒戈。
虞文辉逐步压缩之下，伐宋之战的第三个年头，南宋所控的城池还有三十余座，但是人口已经跌至百万，就连粮食都无法满足需求，不得已跟虞文辉商议购买。
虞文辉更是开启了以子民换粮食的先河，寻常百姓一人可换粮食一斗，从军将士可换粮食一担，读书人和将领可换粮食一车！
只是一月光景，南宋人口就暴跌二十余万，好多城池干脆就没得活人，只剩下空绰绰的鬼城。