hadoop 0.16 -> 0.17 upgrade
- Posted at 2008/09/17 10:41
- Filed under project/lucene_hadoop
Hadoop 0.16 -> 0.17로 업그레이드 했습니다.
업그레이드 절차는 다음과 같이 진행되었습니다.
0. 파일 시스템의 이미지 정보 백업 및 파일시스템 block 정보(웹 화면) 백업
1. Hadoop 0.17 설치
2. Hadoop0.16의 conf에 있는 hadoop-site.xml 파일을 0.17로 복사
모든 노드에 hadoop-site.xml 복사
3. 0.16 stop-all
4. 0.17 start-all
다음과 같은 장애 발생
An upgrade to version -13 is required.
Please restart NameNode with -upgrade option.
5. 0.17 stop-all 후 namenode 만 다시 수행
namenode log에 다음과 같이 image upgade 완료 메세지가 나타남
cur LV = -13; cur CTime = 1221570755507
2008-09-16 22:54:25,338 INFO org.apache.hadoop.dfs.Storage: Finalize upgrade for /home/xxx/name is complete.
6. 0.17 namenode kill
7. 0.17 전체 재 시작(start-all)
버전업이 된 후 DataNode가 처음 시작되면 block을 업그레이드 처리하는 동안은 block report를 하지 않습니다. 그리고 File system을 모니터링 하는 웹화면에 live node가 0으로 나타납니다.
이때 DataNode의 로그에는 다음과 같이 나타납니다.
old LV = -11; old CTime = 1207582378940.
new LV = -13; new CTime = 1221570755507
2008-09-17 07:19:50,412 INFO org.apache.hadoop.dfs.Storage: Upgrade of /data1 is complete.
2008-09-17 07:19:50,427 INFO org.apache.hadoop.dfs.Storage: Upgrading storage directory /hadoop/data2.
old LV = -11; old CTime = 1207582378940.
new LV = -13; new CTime = 1221570755507
DataNode가 사용하는 모든 볼륨에 대해 이 작업이 완료되면 LiveNode에 하나씩 추가됩니다.
8. fsck 수행
9. 백업 받은 block 정보 비교
10. finalized 수행
모든 작업 수행하는데 1시간 정도 소요되었습니다.
DataNode의 볼륨 크기에 따라 업그레이드 시간은 다소 차이가 있을 것 같습니다.
Posted by 김형준
- Response
- No Trackback , 2 Comments
Trackback URL : http://www.jaso.co.kr/trackback/286





