O ministro, que deve ser demitido nas próximas horas, foi acusado de cometer assédio contra diversas mulheres