jaso extends j2ee :: 자바에서 이상한 메모리 관리

오늘 코드 테스트 중 우연히 발견한 내용입니다. List에 추가된 모든 데이터의 대략 100MB도 안되는데에도 불고하고 OutOfMemory Error가 발생하였습니다. 물론 -Xmx, -Xms 옵션은 모두 256m으로 설정했습니다.
그래서 테스트 코드를 몇개 만들어서 비교해봤습니다.

String str = "0123456789";

List<String> datas = new ArrayList<String>(100);

long realSize = 0;

for (int i = 0; i < 100000000; i++) {
String data = "0123456789" + str;
datas.add(data);
realSize += data.getBytes().length;
if (i % 10000 == 0) {
System.out.println("dataCount=" + i + ",dataSize=" + realSize +
",free=" + Runtime.getRuntime().freeMemory() +
",total=" + Runtime.getRuntime().totalMemory());
}
}

dataCount=3130000,dataSize=62600020,free=270816,total=266403840

String str = "0123456789";

List<String> datas = new ArrayList<String>(100);

long realSize = 0;

for (int i = 0; i < 100000000; i++) {
String data = new String("01234567890123456789");
datas.add(data);
realSize += data.getBytes().length;
if (i % 10000 == 0) {
System.out.println("dataCount=" + i + ",dataSize=" + realSize +
",free=" + Runtime.getRuntime().freeMemory() +
",total=" + Runtime.getRuntime().totalMemory());
}
}
dataCount=8640000,dataSize=172800020,free=9725240,total=266403840

위의 코드와 아래코드의 구분은 String에 대한 + 처리 부분만 차이가 납니다. 이 코드는 String에 대한 테스트 코드는 아닙니다. 일반적으로 프로그램 내에서 위에 있는 코드와 같이 생성된 객체를 List에 add하는 경우가 많아서 비교하기 쉽게 만들어 본 것입니다.
아래 코드의 경우 약 864만개의 Object를 추가할 수 있는데 이것을 메모리로 계산해보면 데이터가 172M, 860만개를 가리키기 위한 레퍼런스(1객체당 4byte) 30M 정도 소요되어 200M 정도가 데이터 저장에 사용되었습니다. 그리고 free영역으로 10M 정도 사용되었습니다. 나머지 60M는 어디에서 사용되었는지가 첫번째 이슈입니다. 일단 추측해볼 수 있는 것은 ArrayList의 경우 자신의 용량보다 더 많은 레코드에 대해 add 요청이 들어오면 확장을 하게 되는데 이 확장되어 미리 확보한 영역 때문이라고 예측을 해볼 수 있습니다. 그래서 두번째 코드에서 List를 String[] 배열로 변경하여 다시 수행해 보면 다음과 같은 결과가 나타납니다.
"dataCount=9410000,dataSize=188200020,free=56504,total=266403840"

1000만개 레퍼런스에 40M, 데이터 180M -> 220M 이정도면 봐줄만 합니다. 나머지 40M는 다른 용도로 사용하겠죠....

두번째 이슈는 첫번째 코드에서는 300만개 정도밖에 저장할 수 없다는 것입니다. for loop내에서 발생하는 String 연산 처리에서 생성된 객체들은 GC 수행시 모두 해제 되기 때문에 이론적으로는 두번째 코드와 동일해야 할 것 같은데 다르게 나타나고 있습니다.

크리에이티브 커먼즈 라이센스