Corta la comunicación entre los procesos y elimina los tipos de datos creados para ello.

Se debería elegir un único proceso para que continúe la ejecución del programa. MPI no asegura lo que hacen las hebras tras el MPI_Finalize con lo que lo más seguro es encerrar el resto del código tras la ejecución con una condición que asegure que solo un proceso lo ejecute.
Es altamente recomendable proteger la zona de código que sigue al MPI_Finalize. Una forma puede ser como sigue.

int main(int argc, char* argv[]){
 
    /* Declaracion de variables */
    MPI_Init(&argc, &argv);
    /* Reparto de contenido */
    /* Bucle principal del programa */
    MPI_Finalize();
 
    if(/*es proceso elegido*/){
        //Codigo que ejecuta el proceso elegido unicamente
    }
}