L'agrément peut être retiré de 2 manières :
D'office, par l'administration pénitentiaire
Sur décision des autorités judiciaires (juge de l'application des peines et procureur de la République). Dans ce cas, le visiteur de prison est informé du fait que le retrait a été demandé par les autorités judiciaires.
En cas d’urgence et pour des motifs graves, l'agrément peut également être suspendu par le directeur du SPIP dans lequel la personne bénéficiaire est suivi. Dans ce cas, le directeur interrégional des services pénitentiaires est immédiatement informé de la situation qui a entraîné cette demande de suspension.
En dehors du cas où le retrait est ordonné par les autorités judiciaires, le visiteur de prison est informé des raisons pour lesquelles l'administration pénitentiaire souhaite suspendre ou lui retirer son agrément. Par exemple, le non-respect d'une obligation fixée dans la charte d'engagement peut entraîner la suspension ou le retrait de l'agrément.
Le visiteur de prison est également informé des conditions pour contester cette décision. S'il en fait la demande, le visiteur de prison peut présenter des observations écrites et se défendre oralement devant l'administration pénitentiaire. Au cours de cet entretien, il peut être assisté d'un avocat.