Voy a viajar sin mi hijo a quien dejaré con mi familia. Tengo patria potestad completa. ¿Puede su padre oponerse?

Voy a viajar fuera del país por un mes y aunque tengo la patria potestad completa de mi hijo adolescente, no voy a llevarlo conmigo pues debe ir al colegio para lo cual pensaba dejarlo al cuidado de mi familia pues no tengo la confianza para dejarlo con su padre. Sin embargo mi hijo le menciono algo a su padre, el cual me ha cuestionado y prácticamente me ha dicho que el cree que es mejor que lo deje a su cuidado y que si se entera que lo he dejado con otra persona algo hará al respecto. Mi pregunta es, si puede acusarme de algo legalmente o si hay forma de avisar o tomar acciones en el juzgado para evitar que me haga algún problema mientras no estoy, ya que mi hijo seguirá asistiendo a las convivencias con su padre y como ya sucedió en el pasado tengo miedo de que me acuse falsamente de maltrato, abandono o algo y ya no devuelva a mi hijo en alguna de esas visitas.