Una de las posibles causas es que Photoshop por defecto guarda los últimos 20 estados del documento en la paleta Historia. Por lo tanto necesitará memoria para recordad esos estados. Para tratar de minimizar el problema de la falta de memoria te proponemos una solución: disminuir este número de estados.
Para ello, ve a Edición > Preferencias > Generales y en la casilla Estados de memoria baja el numero por defecto. Eso si, a partir de ese momento los estados de deshacer serán los que fijemos en esa casilla, por lo tanto si no tienes ningún problema de memoria y tienes una buena máquina es mejor que incluso los aumentes, teniendo asi mas opciones de deshacer.