这天，吴玠率领军队来到饶凤关，与驻守在这里的宋军会合。次日，撒离喝率领金军来到饶凤关附近安营扎寨。宋军发现后，报告给吴玠，吴玠登上城楼，观察了金军营寨，他看到金军的营寨一座挨着一座，知道金军来者不善，下令加强戒备，准备战斗，随后吴玠给撒离喝写了一封信，派人给他送去。当天下午撒离喝拿到了这封信，立即开始阅读：宋军饶凤关主将吴玠致金军将领撒离喝，你我在战场上刀兵相见，但并无个人恩怨，实乃各为其主，将军若有勇气，可领兵来战，以雪啼哭郎君之耻。看完信撒离喝下令擂鼓聚将，人到齐以后，撒离喝宣读了吴玠的信，然后说道：“各位将军，南朝军队主将竟然在信里提到了那个让本帅感到耻辱的绰号，是可忍孰不可忍，现在我命令，两天后开始进攻，一定要占领饶凤关，不惜任何代价。”
到了进攻这天，撒离喝全副武装骑着马举着单筒望远镜亲自上阵督战，金军按照他的命令，摆出六路纵队，抬着云梯发起进攻，为了鼓舞士气，撒离喝下令擂鼓助威。宋军方面吴玠也身穿盔甲，手提军刀站在城楼督战，他命令用三弓床弩射杀金军、用石块砸金军，有些金军被火箭射中，引燃了衣服，他们吓坏了赶紧在地上打了好几个滚儿才把火弄灭。撒离喝见久攻不下，下令撤退。当天晚上，吴玠把城中的五个主要将领召集到一起，他对大家说：“各位同僚，从今天的战况可以看出，这次金贼来者不善，明天他们还会继续进攻，我们必须将分成几队，轮流出战，才能保证饶凤关始终控制在我们手里。”众人表示同意，吴玠下令将部队分成五队，由五个主要军官分别率领，每天由一支部队作为守城主力，其他部队随时准备增援，军官们表示同意。在接下来的几天里，每天白天，撒离喝都会组织部队轮番进攻，宋军在军官们指挥下，坚持抵抗，双方大战五天，饶凤关始终控制在宋军手里。第五天傍晚军匠司（军需官）向吴玠报告：“将军，我们的粮食不多了。”还没等吴玠说话，探马向他报告说：“禀报将军，唐峰将军亲自带兵赶来增援。”吴玠听后在屋子里踱了一圈步，下达了一道命令：“由于军粮不继，我军放弃饶凤关，向西县（今陕西勉县）撤退。”同时他派人告诉唐峰，请他赶到西县会合。