macOS Catalina 버전부터 JDK의 System.loadLibrary 가 에러가 날 때

-

정말 오래간만에 자바 관련한 블로깅입니다.


불편한 사람들이 있을 것 같아서 정보 공유 차원에서 현재까지 파악한 이슈를 남깁니다.

macOS Catalina(10.15.3) 버전부터 JDK의 System.loadLibrary를 통한 dylib 파일 로드가 실패합니다.

이와 관련해서는 크게 두 가지 문제가 관련되어 있습니다.


1. System.loadLibrary 버그

공식 JDK 관련 이슈는 다음 이슈에서 볼 수 있습니다.

Java Bug System : System.loadLibrary fails on Big Sur for libraries hidden from filesystem

GitHub : System.loadLibrary fails on Big Sur for libraries hidden from filesystem

System.loadLibrary()를 통한 경로 찾기가 실패하는가 하고 여러 시도를 해보면 곧 System.load()를 통해 dylib 파일을 직접 읽어도 제대로 동작하지 않는다는 것을 알게 될 것입니다.

JDK 라이브러리 로딩 버그의 원인(아직 미해결)을 옮겨봅니다.

System.loadLibrary 실패 원인

문제 설명: 

OSX Big Sur no longer ships with copies of the libraries on the filesystem and therefore attempts to load a native library via System.loadLibrary no longer works.
애플 페이지 내용: New in macOS Big Sur 11.0.1, the system ships with a built-in dynamic linker cache of all system-provided libraries. As part of this change, copies of dynamic libraries are no longer present on the filesystem. Code that attempts to check for dynamic library presence by looking for a file at a path or enumerating a directory will fail. Instead, check for library presence by attempting to dlopen() the path, which will correctly check for the library in the cache. (62986286)
Big Sur부터는 동적 라이브러리의 사본들을 파일 시스템을 통해 찾을 수 없다. 따라서 해당 경로에 파일이 있는지를 체크하거나 해당 디렉토리에 있는 파일들을 찾아보도록 구현된 코드들은 실패하게 된다. macOS에서는 그냥 dlopen을 해당 경로로 주면 알아서 캐시에 있는 라이브러리를 체크할 수 있다. 즉, JDK에서 불필요하게 파일의 존재 유무를 체크하지 않고 바로 dlopen만으로 체크해야 한다.


상세 설명: 

- The new dynamic linker cache introduced by OSX Big Sur creates problems with previous code which checks for the existence of a library file in the filesystem before attempting to load it with dlopen(...). According to the Big Sur release notes in [1],
"Code that attempts to check for dynamic library presence by looking for a file at a path or enumerating a directory will fail. Instead, check for library presence by attempting to dlopen() the path, which will correctly check for the library in the cache."

Tracing the execution of System.loadLibrary shows that the offending check happens at [2] (tested on OpenJDK 11 and 17, Oracle JDK 17 and 18-ea) where File.exists(...) is used to check whether the library file is present on the filesystem before attempting to load it. As a result, valid dynamic libraries that otherwise open fine via dlopen(...) fail with UnsatisfiedLinkError in current versions of the JDK.
현재 JDK 구현체들은 로드하기 위하여 파일 시스템의 파일 존재 유무를 File.exists(...) 코드를 사용하여 체크하도록 되어 있다. 그래서 그냥 dlopen(...)으로 바로 열면 제대로 열리는 유효한 동적 라이브러리들이 현재 JDK 버전들에서는 UnsatisfiedLinkError를 던진다.

즉,  DYLD_LIBRARY_PATH를 지정하여 해당 디렉토리를 뒤져 경로 방식으로  로드하는 건  무조건 실패하게 됩니다.

2. macOS의 라이브러리 공증 notarization 요구 사항

System.loadLibrary 뿐만 아니라 macOS의 라이브러리 관련 보안 공증 요건 강화도 영향을 주고 있습니다.

이런 에러가 특정 macOS 버전부터 발생하는 이유는 macOS의 라이브러리 보안 관련 규정들이 바뀌었기 때문인데...


이에 대한 내용은 다음에서 잘 정리해두었습니다.


내용을 간단히 살펴보면 이와 같은 오류가 발생하는 원인은 다음과 같습니다.

에러의 원인

Apple now requires Application executables like Java to be Notarized. As part of this process, with MacOS 10.15.3, the executables must be Hardened Runtime. In order to be Notarized, and once the Hardened Runtime executables and libraries are installed in the /System and /Library hierarchies, they cannot load libraries which have not been Notarized. Note that Apple has been tightening this up progressively.
애플은 macOS 특정 버전부터 응용 프로그램 바이너리들에 대해 공증을 요구하고 있는데, macOS 10.15.3부터는 이 공증 바이너리의 절차로 실행 바이너리에 보안 강화(hardening) 과정을 거치도록 하고 있다. 공증되기 위해서는 일단 /System 과 /Library 폴더 아래에 한번 설치되는 강화 런타임 실행 파일과 라이브러리들은 공증되지 않는 라이브러리를 적재할 수가 없다. 애플은 이 요구를 점차 더 강화하고 있다.

해결방안

In the short term, the resolution is to download the zip image of the version of Azul Zulu Builds of OpenJDK that you need, and extract the bundle to a folder outside /Library and /System. When you want to run your application, first set DYLD_LIBRARY_PATH=/usr/local/lib, and then use the java executable from the unzipped install. In time, as Apple extends its security model, this option may go away.
In order to ensure that your application is able to continue to load any third-party libraries in the future, contact the library authors and let them know that you need them to submit their libraries for Notarization.
단기적인 해결책으로는 필요한 JDK를 /System이나 /Library 폴더의 자식 경로가 아닌 경로에 설치하면 이 강화 과정을 회피할 수 있다. 그리고 원하는 dylib 라이브러리도 다른 경로에 두고 환경변수 DYLD_LIBRARY_PATH로 경로를 설정해주면 해당하는 문제를 피할 수 있다. 하지만 애플이 보안 모델을 더 강화하면 앞으로는 안될 수도 있다.
가장 확실한 방법은 dylib 라이브러리들을 공증받도록 유도하는 게 최선이다.

일단 JDK 설치를 기본 경로인 /Library 아래에 해서는 답이 없다는 것을 알 수 있습니다.


3. 당장의 Workaround 방법

실제 테스트를 zulu openjdk 8과 11 버전을 통해서 해본 바는 다음과 같습니다.

먼저 JDK 설치 경로는 기본이 /Library/Java/JavaVirtualMachines/zulu-11.jdk/Contents/Home 과 같은 곳에 설치되는데 앞에서 언급한 /Library 서브폴더의 요건을 회피하기 위해 사용자 디렉토리로 통째로 옮깁니다.

~/Library/Java/JavaVirtualMachines/zulu-11.jdk/Contents/Home

일단 이렇게 하고 난 다음에도 DYLD_LIBRARY_PATH로 설정된 경로에 있는 dylib 동적 라이브러리들을 찾지 못하는 문제가 있습니다. 이 이유는 앞에서 언급한 JDK 라이브러리 로딩 버그와 상관이 있을 것입니다.

JDK가 별도의 loadLibrary 호출 없이 기본으로 찾을 수 있는 다른 가능한 경로에 dylib을 복사하여 실행가능하면 개인적으로는 문제가 해결되기 때문에 (개발과 테스트 목적이므로) 다음과 같이 해결하였습니다. 

JDK 8의 경우에는 아래 위치에 원하는 dylib 파일을 복사

~/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home/jre/lib/server

JDK 11의 경우에는 아래 위치에

~/Library/Java/JavaVirtualMachines/zulu-11.jdk/Contents/Home/lib/server


#또하나의삽질

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Java] Java G1 GC의 특성에 따른 Full GC 회피 튜닝 방법

-
Java 6 중반부터 G1 GC가 나오면서 이 새로운 Java VM GC 정책을 두고 성능 튜닝을 어떻게 할지 고민이 많은 것 같다. 일단 생소하기 때문에 어렵다. 그런데 경험들이 조금씩 쌓이면서 문제점도 꽤 발견되는 것 같다. 먼저 G1GC를 이해하는 데 유용한 사이트이다. Garbage-First Collector Getting Started with the G1 Garbage Collector Understanding G1 GC Logs Tuning Garbage Collection for Mission-Critical Java Applications Controlling GC pauses with the GarbageFirst Collector G1: One Garbage Collector To Rule Them All Garbage First (G1) Garbage Collection Options compare JVM options for public 메일 :  G1 GC clean up time is too long JDK 7부터 기본이 된 G1(garbage first) GC는 JVM의 Heap 메모리를 1MB 정도 크기의 region들로 나눠서 region별로 generation을 지정하여 상당히 효율이 좋지만 튜닝하는 게 까다롭다. (새로운 메모리 처리 구조에 대한 튜닝 경험도 많이 부족해서 더욱 까다롭게 느껴지는 것 같다.) 지금까지 널리 알려진 문제로는 첫째, perm generation collection을 full gc때만 하는 문제가 있다. 즉, 클래스 언로딩을 full gc때만해서 자주 재배포가 발생하는 코드가 있는 경우 문제가 될 수 있다. 앞으로는 perm generation을 완전히 없애도록 JVM의 방향을 잡고 있기 때문에 당분간 이 문제는 해결하지 않을 것으로 보인다. 둘째, G1 GC에서 거대 객체(humongous object)라고 부르는 메모리 사용량이 큰 객체들...
자세한 내용 보기

엄밀한 사고(Critical Thinking)란 무엇일까

-
미국에서는 21세기 교육에 가장 중요한 4가지 역량이 4C라고 한다. Four Cs of 21st century learning 네 가지 C는 각각 엄밀한 사고(Critical thinking), 소통(Communication), 협업(Collaboration), 창의(Creativity)를 뜻한다. (critical thinking을 비판적 사고 로 번역하는 경우가 많지만, 실제 문맥에서 보면 문제 해결을 위한 매우 중요한 영역의 사고를 뜻하는 엄밀한 사고 가 좀더 적합한 표현이라고 판단된다.) 한국 사회는 교육에서부터 기업까지 창의성이 떨어진다는 말을 많이 해왔다. 굳이 군대와 같은 극단적인 사회 환경을 얘기하지 않더라도, 가족 같은 분위기라는 표현이 가부장적 위계를 인정한다는 뜻으로 통용되는 사회에서 중요한 의사결정 과정에 충분한 소통과 피드백이 주어지지 못하기 때문에 결과적으로는 창의적 아이디어가 부족하게 되고, 엄밀한 사고를 훈련하지 못하여 21세기에 적합한 인재로서 가치가 떨어진다는 표현이라고 볼 수 있다. 창의적 사고는 결과적인 부분에 가까우므로 과정에서 필요한 엄밀한 사고가 한국의 교육이나 혁신을 지향하는 기업 환경에 가장 중요할 것이다. 미국교육협회(NEA)에서는 엄밀한 사고를 어떻게 바라보고 있는지 옮겨본다. 개인적으로는 혁신을 지향하는 SW 기업에서, 또 창의적으로 미래를 열어갈 자녀들을 위해서 코칭이나 교육의 방법을 고민하기 전에 꼭 읽어봐야 할 내용이라고 생각한다. 다음 내용은 NEA에서 발간한 '글로벌 사회의 21세기 학생들을 준비하기 위한 네 가지 C 교육자 지침'에서 발췌 번역하였다. An Educator’s Guide to the “Four Cs” - Preparing 21st Century Students for a Global Society 엄밀한 사고는 오랫동안 가치있는 기술로 사회적으로 인정받아왔다. 오늘날은 모든 학생들에게 필요하다. 기존에는 엄밀한 사고를 통한 ...
자세한 내용 보기

일론 머스크의 First Principle Thinking (제1원리 기반 사고)

-
이미지
제1원리 기반 사고, First principle thinking. 첫번째 원리로부터 생각하기 혹은 제일원리 기반 사고 정도로 해석할 수 있겠다.  아리스토텔레스가 형이상학이란 책에서 언급한 것으로 더 이상 추론될 수 없는 원칙에서부터 추론되어야 한다는 원칙이다. 예를 들어 Unmoved mover 즉 우주에 최초의 움직임을 만든 무언가는 움직임이 없었어야 한다는 추론이 이러한 원칙 하에서 추론된 것이다. 수학에서 공리에서 출발하는 것과 같은 논리인데 일론 머스크가 SpaceX를 만들면서 제일원칙에 기반한 사고 실험을 사용하였다고 언급하면서 의사결정의 원칙 혹은 문제해결의 방법론으로서도 많이 언급된다. 일론 머스크의 First Principle Thinking 머스크 이야기는 이렇게 시작된다. 화성에 가야겠다고 목표를 세운 머스크가 첫번째 마주한 문제는 천문학적인 로켓 가격이었다. 머스크는 물리학에서 배운 제1법칙 기반의 사고를 이 문제 해결에 적용하기로 했다. “물리학은 유추가 아닌 제1원리로부터 추론하는 것을 가르쳐준다. 좋다, 제1원리들을 한번 들여다보자. 로켓은 무엇으로 만들지?  우주항공산업 등급의 알루미늄 합금들과 약간의 티타늄, 구리, 탄소 섬유이다. 다시 생각해봤다. 일반 상품 시장에서 이 물질들 가격은 얼마쯤 하나? 로켓에 사용되는 재료들 가격은 로켓 일반 가격의 약 2%에 불과했다.” 머스크는 원 재료를 사서 직접 로켓을 만들기로 했고 SpaceX를 세웠다. SpaceX는 1/10 가격으로 로켓을 만들면서도 수익을 내고 있다. 제1원리 기반의 사고를 머스크는 진실이라고 생각되는 좀더 근원적인 부분으로 내려가서 거기에서부터 다시 의사결정에 이르는 논리를 쌓아올리는 문제 해결 과정으로 적용한 것이다. 진리와 근원적 사고 사람은 수많은 참으로 믿은 불확실한 가설들이나 관성으로부터 판단하는 경향이 강하므로 중요한 의사결정을 좀더 근원적인 진위로부터 추론하는 것은 더 나은 해결 방법, 더 높은 진위 추정의 확률을 위해 매우 유용한 방법...
자세한 내용 보기