로그 수집 시스템 scribe
- Posted at 2009/08/03 10:00
- Filed under project/lucene_hadoop
hadoop과 같이 분산된 환경에서는 hadoop 자체의 로그와 사용자가 실행시킨 Job의 로그를 보거나 분석하는 것이 짜증날때가 많습니다. 현재 hadoop의 웹 모니터링 도구에서 제공하는 것만으로는 한계가 있습니다. 이런 문제를 해결하기 위해 hadoop 프로젝트에서는 서브프로젝트로 chukwa(http://www.jaso.co.kr/332) 라는 것이 있습니다.
Facebook에서도 분산된 환경에서 로그 수집 기능을 제공하는 scribe라는 시스템을 공개하였습니다. scribe는 log4x의 사용자 정의 Appender를 만들어 특정 서버로 로그를 보내는 방식을 이용하고 있습니다.
자세한 내용은 다음 URL을 참고하세요.
http://developers.facebook.com/scribe/
http://www.cloudera.com/blog/2008/10/28/installing-scribe-for-log-collection/
Facebook에서도 분산된 환경에서 로그 수집 기능을 제공하는 scribe라는 시스템을 공개하였습니다. scribe는 log4x의 사용자 정의 Appender를 만들어 특정 서버로 로그를 보내는 방식을 이용하고 있습니다.
자세한 내용은 다음 URL을 참고하세요.
http://developers.facebook.com/scribe/
http://www.cloudera.com/blog/2008/10/28/installing-scribe-for-log-collection/
Posted by 김형준
- Response
- No Trackback , 4 Comments
Trackback URL : http://www.jaso.co.kr/trackback/372
Comments List
-
scribe 한번 적용해볼려고요 ^^
-
ㅋㅋㅋ searcus.com에도 적용할 예정입니다. 이제 수작업으로 관리하기 힘들어서.
-
-
hdfs 로 넣는건 되는데,
hbae 로 넣을 수 있었으면 좋겠어요 ㅠㅠ;;-
오타 hbase
-
