Жерновски ја напушта и општината и партијата