L'agrément peut être retiré de 2 manières :
D'office, par l'administration pénitentiaire
Sur décision des autorités judiciaires (juge de l'application des peines et procureur de la République). Dans ce cas, le visiteur accompagnant est informé du fait que le retrait a été demandé par les autorités judiciaires.
En cas d’urgence et pour des motifs graves, l'agrément peut également être suspendu par le directeur du SPIP dans lequel la personne bénéficiaire est suivi. Dans ce cas, le directeur interrégional des services pénitentiaires est immédiatement informé de la situation qui a entraîné cette demande de suspension.
En dehors du cas où le retrait est ordonné par les autorités judiciaires, le visiteur accompagnant est informé des raisons pour lesquelles l'administration pénitentiaire souhaite suspendre ou lui retirer son agrément. Par exemple, le non-respect d'une obligation fixée dans la charte d'engagement peut entraîner la suspension ou le retrait de l'agrément.
Le visiteur accompagnant peut se défendre oralement devant l'administration pénitentiaire. Au cours de cet entretien, il peut être assisté d'un avocat.