Cómo detener el desplazamiento no deseado en la vista de colección después de invalidar el layout

Estoy trabajando en la vista de colección con una altura de celda dinámica. Lo que sucede cuando invalido el layout, la celda de algunos crece o se contrae en altura, lo que resulta en un desplazamiento no deseado para la vista de la colección.

Actualmente estoy guardando la ruta del índice superior visible antes de invalidar el layout y desplazar la vista de colección a esa ruta de índice después de invalidar el layout, pero esto produce un extraño flash de pantalla clara.

¿Cómo puedo superar este problema?