Guzaj se je častitljivi šentjurski rodbini Ipavcev načeloma izogibal in tudi ni znano, da bi užival v njihovi glasbi ali da bi potreboval njihovo zdravniško pomoč. Obstajajo pa pričevanja, da se je razbojnik srečal s šentjurskim županom Gustavom Ipavcem. Bilo je na semanji dan, ko je Guzaj zamaskiran prišel v Zgornji trg, kjer je bil tudi župan, in se potikal med stojnicami. Guzaj je pristopil, se mu predstavil kot obiskovalec iz Poljčan in nekaj minut sta prav prijetno klepetala. Nato se je poslovil in na hitro izginil v množici, s sabo pa vzel šop bankovcev, ki jih je sogovorniku neopazno izmaknil iz žepa. Guzaja v novi preobleki ni nihče prepoznal, župan pa je izginotje denarja opazil šele takrat, ko je bilo že prepozno.