jaso extends j2ee

Hadoop 0.16 -> 0.17로 업그레이드 했습니다.
업그레이드 절차는 다음과 같이 진행되었습니다.

0. 파일 시스템의 이미지 정보 백업 및 파일시스템 block 정보(웹 화면) 백업
1. Hadoop 0.17 설치
2. Hadoop0.16의 conf에 있는 hadoop-site.xml 파일을 0.17로 복사
   모든 노드에 hadoop-site.xml 복사
3. 0.16 stop-all
4. 0.17 start-all
   다음과 같은 장애 발생

5. 0.17 stop-all 후 namenode 만 다시 수행

  namenode log에 다음과 같이 image upgade 완료 메세지가 나타남

6. 0.17 namenode kill
7. 0.17 전체 재 시작(start-all)
버전업이 된 후 DataNode가 처음 시작되면 block을 업그레이드 처리하는 동안은 block report를 하지 않습니다. 그리고 File system을 모니터링 하는 웹화면에 live node가 0으로 나타납니다.
이때 DataNode의 로그에는 다음과 같이 나타납니다.

DataNode가 사용하는 모든 볼륨에 대해 이 작업이 완료되면 LiveNode에 하나씩 추가됩니다.
8. fsck 수행

9. 백업 받은 block 정보 비교
10. finalized 수행

모든 작업 수행하는데 1시간 정도 소요되었습니다.
DataNode의 볼륨 크기에 따라 업그레이드 시간은 다소 차이가 있을 것 같습니다.
 

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

Posted by 김형준