Search Results for '2009/08'


6 POSTS

  1. 2009/08/17 새로운 시작 by 김형준 (7)
  2. 2009/08/12 hadoop 0.20 MapReduce도 바뀌었네요. by 김형준 (2)
  3. 2009/08/11 neptune-1.4.0 릴리즈 by 김형준 (1)
  4. 2009/08/11 Doug Cutting이 cloudera로 옮긴다고 합니다. by 김형준
  5. 2009/08/04 Cloud Computing의 잇점과 방해요소 by 김형준
  6. 2009/08/03 로그 수집 시스템 scribe by 김형준 (4)

새로운 시작

  • Posted at 2009/08/17 09:28
  • Filed under Dev_diary
새로운 일을 할때에 기대감 보다는 두려움이 먼저 떠오르네요. 변화를 즐기는 사람들은 기대감이 훨씬 앞서겠죠. 저는 변화를 즐기는 부류에는 속하지 못하나 봅니다. 변화를 해야만 살아남을 수 있다는 사실을 알고 있지만 변화 자체를 즐기지는 못하나 봅니다.
ㅋㅋㅋ
크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , 7 Comments

hadoop 0.20 MapReduce도 바뀌었네요.

Hadoop 0.20 잠깐 봤는데 MapReduce 클래스가 모두 바뀌었네요. 기존에는 org.apache.hadoop.mapred 패키지였는데 org.apache.hadoop.mapreduce 라는 패키지가 만들어져 있고 기존의 org.apache.hadoop.mapred 패키지 대부분 클래스는 deplicate 되었습니다.
Mapper 클래스도 기존의 configuration(), map(), close()가 아니라 setup(), map(), cleanup()으로 바뀌었네요.
기타 많이 바뀌었지만 일단 hadoop-0.20과 호환 가능하도록 Neptune의 MapReduceUtil 클래스를 조정해야 겠습니다.
아직 1.0은 아니라고 하지만 너무 심한 변화네요.
크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , 2 Comments

neptune-1.4.0 릴리즈

neptune-1.4.0을 릴리즈 하였습니다.

다운로드: http://dev.naver.com/projects/neptune/download

1. 기능 추가
[#3332] Bigtable에서의 Memory Cache 기능
[#3121] Metrics에 ganglia 지원
[#3055] Tablet balacer 기능

2. 기능 개선
[#3411] MultiVersion query에서도 사용자 정의 Filter 사용 가능해야함
[#3197] hadoop 미 실행시 tabletserver startup이 안되어야 함
[#3144] 포맷시 ChangeLog image 파일은 dfs에서 삭제되지 않음
[#3071] TabletInfo에 start row key 추가
[#2960] NTable의 tablet lookup cache hit 비율 높히기
[#2943] changelog verifier가 실패한 경우 처리
[#2939] Web 관리자 화면에서 Tablet의 change log replica 서버 목록 보는 기능
[#2862] Tablet Split 처리시 put lock 시간 최소화
[#2802] CellFilter내에 start CellKey, end Cell Key 지정 기능
[#2702] NBlobInputStream open시 permission에러인 경우도 txTimeout까지 대기
[#2671] changelog server가 tablet server보다 많은 경우 changelog server의 할당 정책

3. Bug fix
[#3382] 웹UI에서 ChangelogServer가 Live와 Dead 둘 다 나타납니다.
[#3196] Cell 클래스내 버그
[#2938] NeptuneMaster만 restart 되었을 때 TabletServer의 Tablet 갯수가 0으로 표시
[#2762] DirectUploader에서 Cell의 null value 지정
[#2535] IO operation is timed out 180 sec due to timed out waiting for rpc response
[#2473] IO operation is timed out 180 sec

* 1.4에서 ROOT, META 테이블에 저장되는 데이터가 변경되었습니다.
1.3 사용자는 1.4 로 업그레이드시 반드시 업그레이드 절차에 따라 업그레이드 해야 합니다.

그동안 버그 찾아주시거나 다양한 요구사항 주신분들 모두 감사합니다.

크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , 1 Comment

Doug Cutting이 cloudera로 옮긴다고 합니다.

Lucene, Nutch, Hadoop으로 이름을 날리고 최근에는 Avro라는 프로젝트를 진행하고 있는 Doug Cutting이 Yahoo를 떠나 Cloudera로 옮긴다고 합니다. 참고하세요.

http://www.cloudera.com/blog/2009/08/10/doug-cutting-joins-cloudera/
크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , No Comment

Cloud Computing의 잇점과 방해요소

  • Posted at 2009/08/04 13:29
  • Filed under Dev_diary
'Culture' Biggest Hurdle To Cloud Computing 라는 제목으로 기사가 올라 왔습니다.
(http://www.informationweek.com/news/software/hosted/showArticle.jhtml?articleID=218900519)

의사결정권자들 대상으로 설문조사 결과 private cloud computing이 주는 잇점은 다음과 같다고 생각하고 있습니다.
improving efficiency 41%
resource scalability 18%
cutting costs 17%
experimenting with cloud computing 15%
improving IT responsiveness 9%

표에서 보는 것처럼 cloud computing은 비용 절감의 목적 보다는 자원의 효율적인 운영과 그것을 통한 유연성의 증대라고 볼 수 있습니다. 효율적인 자원 운영을 하다보면 비용 절감은 자연스럽게 따라오는 결과라고 생각합니다.

private cloud computing을 전파하기 위한 장애요소로는 다음과 같습니다.

Organizational culture 37%
complexity of managing 26%
security 21%
upfront costs 8%

IT 조직의 문화적인 이슈가 가장 큰 장애로 나타나고 있습니다. 국내에서도 동일한 것 같습니다. 국내의 경우 이것뿐만 아니라 기술에 대한 이해 부족과 기술력 부족 등도 포함되지 않을까 생각합니다.
크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , No Comment

로그 수집 시스템 scribe

hadoop과 같이 분산된 환경에서는 hadoop 자체의 로그와 사용자가 실행시킨 Job의 로그를 보거나 분석하는 것이 짜증날때가 많습니다. 현재 hadoop의 웹 모니터링 도구에서 제공하는 것만으로는 한계가 있습니다. 이런 문제를 해결하기 위해 hadoop 프로젝트에서는 서브프로젝트로 chukwa(http://www.jaso.co.kr/332) 라는 것이 있습니다.
Facebook에서도 분산된 환경에서 로그 수집 기능을 제공하는 scribe라는 시스템을 공개하였습니다. scribe는 log4x의 사용자 정의 Appender를 만들어 특정 서버로 로그를 보내는 방식을 이용하고 있습니다.
자세한 내용은 다음 URL을 참고하세요.
http://developers.facebook.com/scribe/
http://www.cloudera.com/blog/2008/10/28/installing-scribe-for-log-collection/
크리에이티브 커먼즈 라이센스
Creative Commons License

Posted by 김형준

Response
No Trackback , 4 Comments
« Previous : 1 : Next »