到了会稽任上之后,他每个月虽然有两千石的俸禄,但他只留下一个月的口粮,然后将余下的粮食全都低价卖给了贫苦的百姓。此外,当地百姓有不少人都很迷信,经常宰杀耕种的耕牛用以祭神,这非但没能帮助他们挽回贫苦的局面,反而让他们变得更穷苦了,而前几任太守对此也都不闻不问。
第五伦到任以后,便立即向各属县发布文书,并且声明:凡是用巫术以鬼神之名愚昧百姓者,都要治罪;而胡乱杀牛的人,也会得到严厉的处罚。刚开始的时候,仍有不少地方的百姓依旧我行我素,结果在第五伦的大力惩治之下,这种事情才逐渐销声匿迹,百姓们的生活也因此而慢慢地富足了起来。
永平五年(62年),第五伦因受人诬陷而被召入京城。当时郡中的不少百姓听说后都很担心他,纷纷出城跟在他的车后,准备跟他一起入京为他伸冤。结果,一天只走了几里路。
到了晚上,第五伦本以为利用金蝉脱壳之计,可以乘船离去。但是,当地百姓得知后,又都追赶了上来,并将他一直送到廷尉门前。不仅如此,这些百姓又联名上书为他伸冤。这一闹则惊动了汉明帝,经查证,汉明帝才知道自己冤枉了第五伦,便赶紧下诏释放了第五伦。