¿Declarar IRPF aunque esté exento en la factura?

Buenas, ando un poco perdido en este asunto y pese a que lo llevo con una consultoría no me salen las cuentas.

Trabajo como autónomo prácticamente para un solo cliente, una empresa europea, por lo que no aplico IVA ni IRPF a las facturas. Ahora bien, desde la consultoría me dicen que trimestralmente, debo declarar el IVA a 0 pero que el IRPF no va a 0, que debo descotármelo yo mismo aunque no lo indique la factura y a pesar de ser una operación intracomunitaria exenta de IRPF. ¿Eso es así? Es decir, ¿la factura está exenta de IRPF pero luego al trimestre debo pagarlo todo de golpe? Y en ese caso, ¿qué porcentaje aplico? ¿15 %?

PD: He buscado en las consultas y no he encontrado nada similar, en caso de que ya esté comentado, agradecería que me pasarais el enlace, muchas gracias.