到了会稽任上之后，他每个月虽然有两千石的俸禄，但他只留下一个月的口粮，然后将余下的粮食全都低价卖给了贫苦的百姓。此外，当地百姓有不少人都很迷信，经常宰杀耕种的耕牛用以祭神，这非但没能帮助他们挽回贫苦的局面，反而让他们变得更穷苦了，而前几任太守对此也都不闻不问。
第五伦到任以后，便立即向各属县发布文书，并且声明：凡是用巫术以鬼神之名愚昧百姓者，都要治罪；而胡乱杀牛的人，也会得到严厉的处罚。刚开始的时候，仍有不少地方的百姓依旧我行我素，结果在第五伦的大力惩治之下，这种事情才逐渐销声匿迹，百姓们的生活也因此而慢慢地富足了起来。
永平五年（62年），第五伦因受人诬陷而被召入京城。当时郡中的不少百姓听说后都很担心他，纷纷出城跟在他的车后，准备跟他一起入京为他伸冤。结果，一天只走了几里路。
到了晚上，第五伦本以为利用金蝉脱壳之计，可以乘船离去。但是，当地百姓得知后，又都追赶了上来，并将他一直送到廷尉门前。不仅如此，这些百姓又联名上书为他伸冤。这一闹则惊动了汉明帝，经查证，汉明帝才知道自己冤枉了第五伦，便赶紧下诏释放了第五伦。