Monitorowanie pamięci Używanie aplikacji Spark

Question

W jaki sposób możemy uzyskać całkowitą pamięć używaną do pracy z iskrami. Nie jestem w stanie uzyskać dokładnego parametru, który możemy odnosić, aby pobrać to samo. Odniosłem się do interfejsu Spark UI, ale nie jestem pewien co do dziedziny, którą możemy odnieść. Również w zwojach mamy następujące opcje: a) Bufor pamięci b) Pamięć cache c) Darmowy Memory d) Shared Memory e) Zamień Wolne miejsce

nie mógł dostać żadnej opcji związanej pamięć używana. Czy ktoś ma jakiś pomysł na ten temat.

Answer 1

Jeśli utrzymujesz swoje RDDs, możesz zobaczyć, jak duże są one w pamięci za pośrednictwem interfejsu użytkownika.

Trudno jest zorientować się, ile pamięci jest używane do zadań pośrednich (np. W tasowaniu). Zasadniczo Spark zużyje tyle pamięci, ile potrzebuje, biorąc pod uwagę to, co jest dostępne. Oznacza to, że jeśli Twoje RDD zajmują więcej niż 50% dostępnych zasobów, twoja aplikacja może zwolnić, ponieważ dostępnych jest mniej zasobów do wykonania.