Czy mogę zmienić pamięć executorów Sparka w czasie wykonywania?

Question

Czy jest możliwa zmiana wartości pamięci executora w czasie pracy w Sparku? Powodem, dla którego chcę to zrobić, jest to, że dla niektórych zadań map chcę, aby program planujący przędzę umieszczał każde zadanie w oddzielnym węźle. Zwiększając pamięć executora w pobliżu całkowitej pamięci węzła, upewniam się, że są one dystrybuowane w każdym węźle. Później chciałbym uruchomić kilka zadań na węzeł, więc obniżyłbym dla nich pamięć executorów.

Answer 1

Nie, nie możesz.

Każdy executor uruchamia się na własnej maszynie JVM i nie można zmienić pamięci JVM w czasie wykonywania. Zobacz w celach referencyjnych: Setting JVM heap size at runtime