jaso extends j2ee

 hbase 0.90  버전부터는 hadoop의 append 기능을 이용하고 있습니다.  hadoop 0.20 정식 릴리즈 버전에서는 append 기능을 제공하지 않기 때문에 hbase의 lib에 있는 hadoop-core-0.20-append-r1056497.jar 파일로 hadoop의 jar 파일을 대체하여 재시작해야 합니다.
이것 말고 주의해야 할 부분이 하나 더 있는데 append 모드를 사용하기 위해서는 dfs.support.append 설정 값을 true로 설정해야 합니다. 이 설정이 dfs의 설정이다 보니 hadoop의 conf/hdfs-site.xml 파일에만 설정하는 경우가 있는데 이렇게 하면 Configuration 객체가 dfs.support.append 값을 로딩하지 못하여 append 기능을 사용하지 않는 모드로 동작하게 됩니다.
Configuration 클래스의 경우 기본 생성자에서는 core-default.xml, core-site.xml 만 로딩하고 별도로 hdfs-default.xml, hdfs-site.xml, mapred-default.xml, mapred-site.xml 을 로딩하기 위해서는 addResource 메소드를 호출해야 합니다.
hbase 코드 상에서 dfs.support.append 값을 읽어 오기 위해 Configuration 객체를 사용합니다. 따라서 dfs.support.append 값을 인식하게 하기 위해서는  hbase의 conf/hbase-site.xml 파일에 설정하거나 hadoop의 conf/core-site.xml에 설정해야 합니다.
그리고 append 기능 및 sync 기능을 이용한다고 해서 WAL 로그가 sync호출 즉시 hdfs에 반영되는 것은 아닙니다. hadoop-0.20-append 버전에서의 sync 메소드를 호출한다고 해서 hdfs 파일에 바로 반영되는 것은 아닙니다. 이 기능은 hadoop-0.21에 적용되어 있습니다.
hadoop-0.20.append 관련 소스는 hadoop의 common branch에 있습니다. 참고하세요.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

Posted by 김형준