[Java] IBM JDK에서 native out of memory가 발생하는 이유와 해결책

-
IBM JDK를 사용할 때 (gc policy는 보통 gencon) 물리 메모리가 많이 남아있는 경우에도 native out of memory (NOOM)가 발생하는 경우가 있다.
NOOM이 발생하지 않았더라도 global gc 가 자주 발생하여 성능에 영향을 주기도 한다.
verbose gc 로그를 보면 sys-start reason="native out of memory" 라는 이유로 global gc가  실행되는 것을 볼 수 있다.

이렇게 global gc가 자주 발생하면 자바의 가장 큰 골치거리인 Stop-The-World 현상이 발생하여 순간적으로 멈춰서게 되어 매우 불안정하게 되는데 이 문제의 원인은 무엇인지 알아보자.

이 문제가 발생하는 경우는 IBM JDK (버전 6 이후)를 사용하고 64비트 JVM, 전체 Java Heap 크기를 4GB 이상 25GB 이하로 줬을 때이다.

-Xmx 값이 4GB~25GB이면 IBM 64bit JVM은 기본값으로 -XcompressedRefs 옵션을 켠 것과 동일한 방식으로 동작한다.
자바의 객체들은 JVM 내부에서 2-word 크기의 헤더를 가지는데 32bit JVM에서는 2-word는 8byte이며, 64bit JVM에서는 2-word가 16byte가 된다.

64bit 방식으로 자바 객체를 addressing하게 되면 사용할 수 있는 메모리 영역은 훨씬 더 커지겠지만 메모리를 과다 사용하고 OS의 page cache fault 등의 문제로 성능적으로도 느려질 수밖에 없다.

그래서 64bit JVM에서도 32bit 방식으로 자바 객체 주소를 addressing하는 방식이 바로 compressed reference라는 개념이다.

compressed reference 방식으로는 최대 32GB까지 주소를 나타낼 수 있다.
이 경우 Java Heap에 있는 자바 객체들에 대한 주소는 shift 연산을 통해 32bit 주소의 한계인 4GB를 넘어서 최대 32GB까지 참조할 수 있게 되지만, Java Heap 밖에 (즉, native 영역에) 존재하는 클래스 객체, 모니터 객체, 쓰레드 객체 등은 여전히 4GB 주소 안에 있어야 한다. 자바 객체 헤더에서 참조하는 클래스, 모니터, 락 등에 대한 포인터가 32비트로 표현되기 때문이다. (테스트를 해보면 live class 객체들만 4gb 크기에 들어있으면 된다. Unloading을 안해서 전체 클래스 객체가 8~9gb인 경우에도 live 객체들 크기가 4gb 범위 안에 있으면 noom warning이 나질 않는다. 아마도 live pointer들을 간접 포인팅하는 식으로 구현된 것 같다.)

native OOM이 발생하는 원인 중 하나는 주로 클래스 객체가 너무 많이 사용되어 이 영역이 4GB를 다 차게 되는 경우이다.
일반적으로 복잡한 자바 업무들을 구현하면 자바 코드들이 1GB를 차지하는 경우는 종종 볼 수 있다.
좀 지나치게 많은 업무 코드들을 모두 하나의 JVM에서 올리려고 하면 2.5GB를 넘어서게 될 수 있는데 이렇게 되면 일반적으로 다른 모니터와 쓰레드가 차지하는 영역까지 합쳐서 4GB를 육박하게 된다.




<그림 : JVM 프로세스 메모리 맵> "Using -Xgc:preferredHeapBase with -Xcompressedrefs"에서 인용
이런 경우에는 코드들을 효과적으로 서로 다른 JVM으로 분리하여야 불필요한 global gc를 막을 수가 있다.

참조 :


댓글

댓글 쓰기

이 블로그의 인기 게시물

[Java] Java G1 GC의 특성에 따른 Full GC 회피 튜닝 방법

-
Java 6 중반부터 G1 GC가 나오면서 이 새로운 Java VM GC 정책을 두고 성능 튜닝을 어떻게 할지 고민이 많은 것 같다. 일단 생소하기 때문에 어렵다. 그런데 경험들이 조금씩 쌓이면서 문제점도 꽤 발견되는 것 같다. 먼저 G1GC를 이해하는 데 유용한 사이트이다. Garbage-First Collector Getting Started with the G1 Garbage Collector Understanding G1 GC Logs Tuning Garbage Collection for Mission-Critical Java Applications Controlling GC pauses with the GarbageFirst Collector G1: One Garbage Collector To Rule Them All Garbage First (G1) Garbage Collection Options compare JVM options for public 메일 :  G1 GC clean up time is too long JDK 7부터 기본이 된 G1(garbage first) GC는 JVM의 Heap 메모리를 1MB 정도 크기의 region들로 나눠서 region별로 generation을 지정하여 상당히 효율이 좋지만 튜닝하는 게 까다롭다. (새로운 메모리 처리 구조에 대한 튜닝 경험도 많이 부족해서 더욱 까다롭게 느껴지는 것 같다.) 지금까지 널리 알려진 문제로는 첫째, perm generation collection을 full gc때만 하는 문제가 있다. 즉, 클래스 언로딩을 full gc때만해서 자주 재배포가 발생하는 코드가 있는 경우 문제가 될 수 있다. 앞으로는 perm generation을 완전히 없애도록 JVM의 방향을 잡고 있기 때문에 당분간 이 문제는 해결하지 않을 것으로 보인다. 둘째, G1 GC에서 거대 객체(humongous object)라고 부르는 메모리 사용량이 큰 객체들에 대한
자세한 내용 보기

엄밀한 사고(Critical Thinking)란 무엇일까

-
미국에서는 21세기 교육에 가장 중요한 4가지 역량이 4C라고 한다. Four Cs of 21st century learning 네 가지 C는 각각 엄밀한 사고(Critical thinking), 소통(Communication), 협업(Collaboration), 창의(Creativity)를 뜻한다. (critical thinking을 비판적 사고 로 번역하는 경우가 많지만, 실제 문맥에서 보면 문제 해결을 위한 매우 중요한 영역의 사고를 뜻하는 엄밀한 사고 가 좀더 적합한 표현이라고 판단된다.) 한국 사회는 교육에서부터 기업까지 창의성이 떨어진다는 말을 많이 해왔다. 굳이 군대와 같은 극단적인 사회 환경을 얘기하지 않더라도, 가족 같은 분위기라는 표현이 가부장적 위계를 인정한다는 뜻으로 통용되는 사회에서 중요한 의사결정 과정에 충분한 소통과 피드백이 주어지지 못하기 때문에 결과적으로는 창의적 아이디어가 부족하게 되고, 엄밀한 사고를 훈련하지 못하여 21세기에 적합한 인재로서 가치가 떨어진다는 표현이라고 볼 수 있다. 창의적 사고는 결과적인 부분에 가까우므로 과정에서 필요한 엄밀한 사고가 한국의 교육이나 혁신을 지향하는 기업 환경에 가장 중요할 것이다. 미국교육협회(NEA)에서는 엄밀한 사고를 어떻게 바라보고 있는지 옮겨본다. 개인적으로는 혁신을 지향하는 SW 기업에서, 또 창의적으로 미래를 열어갈 자녀들을 위해서 코칭이나 교육의 방법을 고민하기 전에 꼭 읽어봐야 할 내용이라고 생각한다. 다음 내용은 NEA에서 발간한 '글로벌 사회의 21세기 학생들을 준비하기 위한 네 가지 C 교육자 지침'에서 발췌 번역하였다. An Educator’s Guide to the “Four Cs” - Preparing 21st Century Students for a Global Society 엄밀한 사고는 오랫동안 가치있는 기술로 사회적으로 인정받아왔다. 오늘날은 모든 학생들에게 필요하다. 기존에는 엄밀한 사고를 통한
자세한 내용 보기

일론 머스크의 First Principle Thinking (제1원리 기반 사고)

-
이미지
제1원리 기반 사고, First principle thinking. 첫번째 원리로부터 생각하기 혹은 제일원리 기반 사고 정도로 해석할 수 있겠다.  아리스토텔레스가 형이상학이란 책에서 언급한 것으로 더 이상 추론될 수 없는 원칙에서부터 추론되어야 한다는 원칙이다. 예를 들어 Unmoved mover 즉 우주에 최초의 움직임을 만든 무언가는 움직임이 없었어야 한다는 추론이 이러한 원칙 하에서 추론된 것이다. 수학에서 공리에서 출발하는 것과 같은 논리인데 일론 머스크가 SpaceX를 만들면서 제일원칙에 기반한 사고 실험을 사용하였다고 언급하면서 의사결정의 원칙 혹은 문제해결의 방법론으로서도 많이 언급된다. 일론 머스크의 First Principle Thinking 머스크 이야기는 이렇게 시작된다. 화성에 가야겠다고 목표를 세운 머스크가 첫번째 마주한 문제는 천문학적인 로켓 가격이었다. 머스크는 물리학에서 배운 제1법칙 기반의 사고를 이 문제 해결에 적용하기로 했다. “물리학은 유추가 아닌 제1원리로부터 추론하는 것을 가르쳐준다. 좋다, 제1원리들을 한번 들여다보자. 로켓은 무엇으로 만들지?  우주항공산업 등급의 알루미늄 합금들과 약간의 티타늄, 구리, 탄소 섬유이다. 다시 생각해봤다. 일반 상품 시장에서 이 물질들 가격은 얼마쯤 하나? 로켓에 사용되는 재료들 가격은 로켓 일반 가격의 약 2%에 불과했다.” 머스크는 원 재료를 사서 직접 로켓을 만들기로 했고 SpaceX를 세웠다. SpaceX는 1/10 가격으로 로켓을 만들면서도 수익을 내고 있다. 제1원리 기반의 사고를 머스크는 진실이라고 생각되는 좀더 근원적인 부분으로 내려가서 거기에서부터 다시 의사결정에 이르는 논리를 쌓아올리는 문제 해결 과정으로 적용한 것이다. 진리와 근원적 사고 사람은 수많은 참으로 믿은 불확실한 가설들이나 관성으로부터 판단하는 경향이 강하므로 중요한 의사결정을 좀더 근원적인 진위로부터 추론하는 것은 더 나은 해결 방법, 더 높은 진위 추정의 확률을 위해 매우 유용한 방법이라 할 수 있다
자세한 내용 보기