Yahoo에서 Hadoop을 적용한 사례 오픈
- Posted at 2008/02/20 09:17
- Filed under project/lucene_hadoop
Yahoo에서 Hadoop을 적용한 가장 큰 규모의 프로젝트 정보를 아주 조금이지만 오픈 했습니다. Webmap이라고 하는 검색을 위한 웹 페이지 정보를 관리하는 시스템인 것 같습니다.
Some Webmap size data:
- Number of links between pages in the index: roughly 1 trillion links
- Size of output: over 300 TB, compressed!
- Number of cores used to run a single Map-Reduce job: over 10,000
- Raw disk used in the production cluster: over 5 Petabytes
자세한 내용은 다음 페이지를 참고하세요.
http://developer.yahoo.com/blogs/hadoop/2008/02/yahoo-worlds-largest-production-hadoop.html
Posted by 김형준
- Response
- No Trackback , 4 Comments
Trackback URL : http://www.jaso.co.kr/trackback/227
Comments List
-
ㅎㅎ 공개되는군요.
공개되었으니 말인데 야후내부에서는 이것으로 링크분석을 하는듯 합니다.
근데 시간이 생각보다 좀 걸린다는...-
현재의 속도보다는 linear scalability가 더 중요하겠죠. 현재보다 2배 더 빨라져야 한다면 서버를 추가만 하면 되겠죠... 별도의 프로그램/데이터 수정없이도요.
-
-
헉... 내부 프로젝트명까지 공개되다니... ㅜㅜ
-
신혼여행 갔다 오셨나 보네요... 수석졸업도 축하합니다.
-
