爱德华又和那些游民一起流浪了，他成了他们戏谑和讥讽的对象，特别是约翰和雨果对他更是恶劣，一有机会就欺负他。
爱德华还是归雨果管，在起初那两三天里，这家伙尽量在暗中设法使爱德华不舒服。一到夜里，在大家一起狂欢起舞的时候，他装作不小心的样子几次三番踩到爱德华的脚，借此给大家寻开心。爱德华本不想跟他一般见识，但看他越来越得寸进尺的张狂样子，就决定拿出王家的风范跟他来一次公平的角斗。
在雨果的眼里，文质彬彬的爱德华肯定不是对手，于是他拿着一根木棒向爱德华打过去。爱德华在宫廷是接受过正规的剑术训练的，因此能够轻松而准确地把那雨点般打来的棍子挡开，使得那些乌七八糟的旁观者不时发出阵阵惊讶的赞叹声。爱德华也不是完全被动地挨打，他一瞅准机会就会反击。他凭着经验不时发现一个空子，就趁机会像闪电似的向雨果头上敲一棒，于是一阵风暴般的喝彩和狂笑就扫遍全场。打了十五分钟之后，雨果已经招架不住了，败退下来。
在这场角斗中丝毫没有受伤的爱德华被大家视为英雄，大家欢天喜地抬着他绕行一圈，并给了他一个新的封号，叫做“角斗王”。帮中还规定以后谁再叫他“疯子一世”，就把他逐出帮去。爱德华倒是很想被逐出帮去，但一直没有机会。他只好采取不合作的态度，想借此激怒大家，让他们把他赶出帮去。但是大家都知道他的怪脾气，也不怎么责怪他，他只好得过且过。
这样过了好几天，爱德华感觉这种流浪的生活实在太无聊，虽然他逃脱了神父的菜刀，但至多也不过是拖延一下死期罢了。
但是一到夜里，他在梦中又找到了安慰，他梦见他回到了王宫，坐上了宝座，当上了国王。这当然就加深了醒来的苦痛。
在决斗之后，雨果就盘算着怎样报复爱德华。他拟定了两个办法：一是对爱德华施以特殊的凌辱，挫败他那傲慢的态度和“帝王威风”；如果这一招不成功，就设法把某种罪行栽在爱德华身上，然后出卖他，让他锒铛入狱。
为了实施第一个办法，他打算联合约翰在爱德华腿上弄一块“招财”。所谓“招财”，指的是乞丐为了讨钱用人工的方法在皮肤上弄出一块疮疤。这种方法是很残忍的。做“招财”的人把干石灰混合铁屑调成膏状，抹在一块皮子上，然后把它紧紧捆在腿上。这样就可以很快地使皮肤脱掉，里面的肉也显得粗糙难看，然后再在腿上抹一层血，等它干透了的时候，就显出一种讨厌的黑红色。然后再故意随随便便捆上一些脏布和绷带，让那吓人的疮疤还能叫人看见，借此引起过路人的怜悯心而博取钱财。如果爱德华腿上有了这么一块难看的疮疤，那么他一定会觉得很丢人的，在人群中再也抬不起头了。
说干就干，他找来约翰帮忙，两个人一起把爱德华打倒在地，同时把准备好的抹着药膏的皮子紧紧捆在他腿上。爱德华大发脾气，破口大骂，口口声声说以后一旦回宫，就马上把他们打入死牢。他们完全不理会爱德华的威胁，反而把他抓得更牢了。如果这种情形继续下去，那么药膏就会腐蚀皮肤。这时候有人来打抱不平了，他就是那个曾经大骂英国法律的“奴隶”。他阻止了这件事情，把药膏从爱德华腿上撕了下来，并把这件事情报告了首领老头子。
老头子听了他的报告，仔细地想了一下，就决定以后不再派爱德华去讨钱，因为以他的聪明才智显然可以做更富有技术含量的事情——于是他当场把他从乞丐提升为小偷！爱德华听到老头子这个安排哭笑不得，但是他也不敢当面违抗老头子的命令，只好应承下来，心里暗自盘算着趁扒窃的时候找个机会逃跑。
雨果听到这个消息简直高兴坏了，他本来就想叫爱德华去偷东西，然后乘机让人捉住他，把他投入监狱。但是爱德华肯定不会听他的指挥，现在既然老头子叫他去偷东西，他就不敢公然反抗了。
第二天一早，雨果就领着爱德华游荡到临近的一个村庄去了。他们两个慢慢地在街上来回溜达着，走过一条又一条的街。他们各有各的算盘：一个是留神找机会，实现害人的目的；另一个同样留神找机会逃跑。
雨果的机会首先出现了。有一个女人提着一只筐子走过来，筐子里装着一包东西。雨果幸灾乐祸地想着：“这可是一个大好的机会，他非下死狱不可。”那女人从他们身边走过去之后，他低声对爱德华说：“你在这儿站着，等我回来。”随即就偷偷地向那女人背后飞跑过去了。
爱德华心都快跳到嗓子眼里了，他想只要雨果一直追过去，跑远一些，他就可以逃跑了。但是他并没有这么好的运气。