jaso extends j2ee

Private Cloud vs Virtualization

(김형준) — Wed, 11 Aug 2010 15:59:29 +0900

기업에서 Server Virtualization을 도입하는 것과 Private Cloud Computing과의 차이가 무엇인가? 클라우드 컴퓨팅을 이야기 할때 서버 가상화는 클라우드 컴퓨팅의 구현에 필요한 요소 기술 중의 하나라고 말하고 클라우드 컴퓨팅이 좀더 큰 개념을 포함하고 있다고 한다. 맞는 정의이지만 Private Cloud에서 보면 거의 동일화 선상에 있다고 생각한다.
클라우드 컴퓨팅의 특징을 보면 Rapid Elasticity, Measured Service, On-Demand Self-Service, Ubiquitous Network Access, Resource Pooling 등이 있다. 기업의 내부에서 사용하는 시스템에 대한 클라우드인 Private Cloud에 대해 하나씩 살펴보자.

- Rapid Elasticity: 기업의 내부 시스템은 자원 사용의 급격한 변화는 없다. 사용 패턴이 거의 일정하며 사용량 증가가 미리 예측 가능한 수준이며 변화의 범위도 점진적인 경우가 많다. 따라서 인프라 조직은 시스템의 증설 계획을 통해 증설하고 있다.

- Measured Service: 인프라 자원의 사용량 등에 대한 정보를 모니터링하여 과금을 부여하는 속성이다. 기업 내부에서도 조직별, 사업별 손익을 결산해야 하기 때문에 기업 내부라 하더라도 이런 정보는 수집이 되어야 한다. 가상머신을 사용하는 경우 가상머신 관리도구에서 이런 정보를 관리하고 있다.

- On-Demand Self-Service: 이 속성은 사용자는 리소스가 필요한 경우 관리자의 개입없이 바로 요청해서 사용할 수 있는 속성인데 기업 내부 시스템의 경우 "바로" 라는 의미가 내부 결재 프로세스가 완료되고 1 ~ 2일 이내에만 서버가 공급되는 수준이면 된다.

- Ubiquitous Network Access: 이것은 기업 내부이기 때문에 필요 없는 속성이 되기도 한다.

- Resource Pooling: 가상머신으로 구성할 경우 서버 사용량에 따라 적절하게 가상자원을 할당하고 잉여 지원의 경우 풀로 빼기 보다는 새로운 시스템 구성시 활용하여 가능한 남은 자원이 없도록 하는 것을 추구한다.

이상과 같이 일부 속성은 Private Cloud 에서는 중요하지 않거나 필요없는 속성이 있다. 그리고 가상머신 그 자체로 해결해주는 속성이다. 이런 상황이라면 Private Cloud는 가상머신을 도입하여 제공하는 관리도구를 이용하여 리소스 관리를 잘하는 것과 동일하다고 볼 수 있다.(여기서 기업의 내부 시스템이라고 하면 B2C 대상의 서비스를 의미하지 않는다.)
클라우드 컴퓨팅의 정의를 봐도 마찬가지이다.

Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction.

여기서 핵심 키워드는 on-demand, shared pool, configurable, rapidly provision, minimal management 이다. 서버가상화도 거의 비슷한 맥락을 지원하고 private cloud에서는 필요 없는 요소나 덜 중요한 요소도 있다. 이렇게 정리해 보면 굳이 private cloud와 서버가상화 도입이 다른 의미는 아닌것 같다.
기업에서 원하는 것은 용어나 개념이 중요한 것이 아니라 실제로 얻을 수 있는 효과가 무엇인가가 더 중요하고 그것이 기업이 원하는 요구 조건만 만족시키면 그만인것이다. 시스템 배포를 1시간 이내에 할 것인가 1일 이내에 할것인가는 별로 중요하지 않다. 과거에 1달 이상 소요될 때에 비하면 1일이내이면 적절하다고 판단되면 그것이 기업의 요구사항이고 거기에 부합되는 기술이 적용되면 되기 때문이다.

이글은 Cloud Computing 의 전체적인 흐름을 부정하는 것이 Cloud Computing의 원래 개념을 그대로 가지고 있는 Public Cloud는 매우 큰 의미가 있으며 계속 추진해야 하는 모습니다. 다만 기업들이 Public Cloud의 개념이 Private Cloud로 넘어 오면서 많이 축소되고 있는 것을 인지해야 한다는 것이다. 클라우드의 장점을 그대로 활용하고 싶으면 그냥 Public Cloud를 사용하면 된다. 내부에 Private이라는 애매한 용어를 사용해서 구축하지 말고...
그리고 기업 내부의 인프라 자원을 효율적으로 관리할 목적이라면 서버가상화를 도입하면 그만인것이다. 클라우드가 아닌...

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

hadoop의 DataNode 버그

(김형준) — Fri, 06 Aug 2010 15:36:33 +0900

Hadoop의 DataNode에서 여러개의 볼륨을 사용할 경우 하나의 볼륨에만 문제가 있어도 데이터 노드 자체가 죽어버려 정상적인 디스크에 있는 데이터까지 모두 복구 작업이 진행된다. 소스를 보니 다음 코드처럼 구현되어 있으니 당연히... /* Check if there is no disk space and if so, handle the error*/ protected void checkDiskError( ) throws IOException { try { data.checkDataDir(); } catch(DiskErrorException de) { handleDiskError(de.getMessage()); } } private void handleDiskError(String errMsgr) { LOG.warn("DataNode is shutting down.\n" + errMsgr); shouldRun = false; try { namenode.errorReport( dnRegistration, DatanodeProtocol.DISK_ERROR, errMsgr); } catch(IOException ignored) { } }

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

왕 삽질 후에 성공한 hicc 화면

(김형준) — Tue, 22 Jun 2010 18:54:15 +0900

HICC(Hadoop Infrastructure Care Center)는 chukwa의 서브 모듈로 탑재 되어 있으며 하둡 클러스터를 모니터링 하는 화면을 제공한다.
지난번에 한번 실패하고 이번에 다시 도전해서 성공... 지난번에도 성공헀었는데 화면단에서 조회 조건에서 GMT+0 기준으로 데이터 조회하고 있는 바람에 데이터가 나타나지 않았다는 ㅋㅋㅋ

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

최근 근황

(김형준) — Wed, 26 May 2010 19:05:48 +0900

요즘 생각을 좀 정리 해봤습니다.

개발을 좋아하시는 분들은 언제까지 내가 개발을 할 수 있을까? 아니면 관리, 전략 등이 아닌 현장에서 계속해서 엔지니어로 남을 수 있을까? 현장에 있어도 제대로 대접 받으면서 있을 수 있을까? 에 대한 고민을 계속 하실겁니다.
저도 마찬가지이고요. 벌써 만 14년이 넘었습니다. 제 동기들이나 저와 같은 경력을 가지신 분들중에 설계, 개발 등을 계속하시는 분들은 많지 않습니다. 그런 일을 원하는 회사도 많지 않고요. 회사입장에서도 많은 임금을 주면서 경력많은 사람을 개발자로 두고 싶지 않겠죠.
경력에 따라 개발자의 역할이 틀려지겠죠. 저 같은 경우 코딩도 하지만 새롭게 등장하는 개념에 대한 연구 및 활용 사례 도출, 실제 적용, 교육 등등의 업무도 같이 수행하고 있습니다. 그리고 이런 역할을 수행하면 회사에서도 손해보지는 않겠죠. 문제는 특정 분야에 이런 역할을 수행하는 사람이 계속 필요한가입니다. 어렵거나 새로운 기술도 시간이 지나면 일반화되는 분야가 많습니다. 어떤 회사에서는 일반화된 기술이 다른 회사에서는 아직 어렵고 새로운 기술로 인식될 수도 있습니다. 그래서 자신의 분야가 일반화되면 그 분야를 담당하는 조직도 생겼고 자연스럽게 그 조직의 관리자로 올라가는 것이 대부분입니다.
저는 조금 다른 경력 모델을 만들어 볼려고 합니다. 하나의 회사에서 일반화되면 더 이상 그 회사에 있기 보다는 그 기술을 필요로 하는 다른 회사와 일을 하면서 기술 역량을 더욱 늘리면서 서로 윈윈하는 모델입니다. 정직원으로 일할 수도 있지만 가능한 2 ~ 3년 장기 컨설팅 계약을 하는 것입니다. 제가 가지고 있는 기술을 그 회사에 제공하면 회사는 필요한 기술을 가지고 사업을 추진하고 기술을 전수 받아 내재화 시킬수 있습니다. 비용은 고임금의 인력을 장기적으로 채용하기 보다는 필요한 시기에 적절하게 소싱하여 활용하는 것입니다.
지금 이런 모델로 첫 계약을 진행했습니다. 계약하는 도중에 많은 어려움이 있었습니다. 대기업-소기업 계약이 너무 어렵다는 것을 알았습니다. 국내 대기업이 외국의 신생기업인 클라우데라와 계약하는 것은 아주 쉽게 하는 것을 보았는데 국내 기업에는 적용되지 않나 봅니다. 점점 저와 같은 생각을 가진 엔지니어들이 많아 질것이라 예상합니다. 이제 기업도 이런 전문 엔지니어를 활용하는 방법이나 프로세스에 대해 고민을 해야할 시기라고 생각합니다.
지금의 기술은 분야도 다양해지고 수준도 높아지고 있습니다. 1 ~ 2년 동안 습득할 수 있는 수준이 아닙니다. 기술의 내재화를 위해서 이런 전문 엔지니어를 이용하여 회사내의 기술자와 협업을 하도록 해서 전문 엔지니어의 기술을 전수 받도록 해야 합니다. 이렇게 하면 엔지니어는 다양한 요구사항과 사업 분야에서 자신이 가진 기술을 적용해 봄으로써 기술을 점점 더 성숙시키고 해당 분야에 리더로 커 나갈 수 있습니다. 이렇게 15 ~ 20년 이상의 경력을 가지게 되면 진정한 고수의 반열에 올라설 수 있을 것입니다.

제 근황은 그루터(www.searcus.com)라는 검색 전문 회사에 입사해서 S사에 클라우드 컴퓨팅 컨설팅을 수행하고 있습니다. 오픈 소스인 neptune(www.openneptune.com)을 어떻게 진행할 것인지에 대해서도 고민 중입니다. 그리고 www.nosql.co.kr 도메인을 어떻게 활성화 시킬 것인가도 생각해봐야 하고요. 6월4일에는 컨퍼런스에서 nosql 관련해서 전반적인 overview에 대한 발표도 있습니다.
마지막으로 언제 마무리 될지는 모르겠지만 클라우드 컴퓨팅 관련해서 글을 쓰고 있습니다. 출판이 될지, 온라인으로만 배포할지는 아직 결정된게 없습니다. 목차는 대략 다음과 같습니다. 현재 약 200 페이지 정도 작성되었고 몇분이 도와주고 계십니다.

아키텍처의 변화
Introduction
분산 컴퓨팅 & EJB
Lightweight Container(Spring) 및 프레임워크의 등장
분산 기술의 발전
클라우드 서비스를 위한 아키텍처
Move To SaaS(Software as a Service)

애플리케이션 서버 개발
Thrift
Avro

분산시스템 구성 및 관리
분산시스템 구성시 일반적인 문제
Apache ZooKeeper(Distributed Coordinator Service)
ZooKeeper를 이용한 분산시스템 관리

분산 파일 시스템
HDFS(Hadoop Distributed File System)
mogileFS
기타 분산 파일 시스템

분산 데이터베이스 관리
MySQL 클러스터
NoSQL

기타
분산 처리(MapReduce)
로그 관리
캐쉬 서비스

혹시 더 추가되었으면 하는 내용이 있으면 알려주기면 참고하겠습니다.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

개발자생활 3.0 시작을 위한 휴식 및 준비

(김형준) — Fri, 02 Apr 2010 00:46:57 +0900

회사생활 2.0이라는 제목으로 시작한지 4년이 다 되어 갑니다. 뒤돌아 보면 개발자로 지내온지 14년이 넘었습니다.

- 화사생활 1.0: SI 프로젝트
- 회사생활 1.5: 글로벌 제조회사 유지보수
- 회사생활 2.0: 플랫폼 및 클라우드
- 회사생활 2.5: 인터넷 서비스 운영

이번에는 달콤한 휴식과 함께 새로운 시작을 준비해봅니다. 회사생활 3.0이란 버전이 아닌 "개발자생활 3.0"으로 이름 지어 봅니다.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

공인인증서 논하기 전에 사이트 보안 부터 먼저

(김형준) — Mon, 29 Mar 2010 18:06:37 +0900

최근 보안 이슈때문에 공인인증서에 대한 언급이 많은데 아직도 우리나라의 많은 웹사이트는 기본 보안 조차도 안되어 있는 경우가 많습니다. 이것부터라도 먼저 해결해야지... 이 사이트는 저는 사용자 가입은 하지 않았는데... 이런 사이트는 가입하는 순간 개인정보는 외부로 ㅋㅋㅋ Warning: is_file() [function.is-file]: Stat failed for /svc/www/data/newFeed/20100329/SIJANG_INFO_ALL_1530 (errno=116 - Stale NFS file handle) in /svc/web/common/common/include/stock2009/class/dataload.class.php on line 1605 그래도 유명한 신문사의 웹사이트 접속 시 나타나는 문구입니다.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

Hadoop NameNode 이중화 해결?

(김형준) — Fri, 19 Mar 2010 09:27:10 +0900

아래 기사 내용중에 자체적으로 해결했다고 되어있습니다.

http://in.sys-con.com/node/1323620

Appistry explains that the native HDFS architecture is built around a single metadata repository called the NameNode and because the NameNode isn't easily clustered, it represents a single point of failure and a bottleneck for the entire system. CloudIQ Storage fixes that limitation.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

지경부 공개SW 지원-나눠먹기인가

(김형준) — Wed, 17 Mar 2010 11:06:00 +0900

http://www.nipa.kr/BusinessNoticeView.do?mainbizID=kipa%20&boardID=noti%20%20%20%20&srl=29.0&menu_num=43

과제 내용을 미리 정해놓고 한다는 거는 이미 짜고치는 고스톱 같네요...

과제를 미리 선정하기 보다는 자유롭게 과제 제출을 받고 거기서 과제의 기술적 중요도도 평가를 해야겠지만 아파치에서 과제 인큐베이션 할때 평가하는 것처럼 오픈소스 프로젝트의 프로젝트 관리 능력, 프로젝트 참여 멤버 구성, 개발자들의 후원, 멘토 여부 등등이 고려되어야 할 것 같은데... 내 세금 30억이 날라가는 구나 ㅋㅋㅋ

o 스마트 그리드(송전과 배전에서 발생되는 대용량 전력 데이터의 수집 및 분석 등)
o 프로세스 관리(SW개발의 모든과정과 산출물들의 상관관계를 통합관리 하는 플랫폼개발 등)
o 모바일 플랫폼(모바일 SW개발환경 배포/분석 및 단말 기반 기술, 콘텐츠 제작 관련 기술 개발 등)
o 필기체 문자 인식(’09년 우수과제)
o 리눅스 커널 및 성능분석 도구(’09년 우수과제)
o 임베디드 리눅스 개발 환경 (’09년 우수과제)
o SW개발 플랫폼
o Business Intelligence(BI) 플랫폼(HTML 웹편집기 등)
o 스마트폰 응용 분야(증강현실 플랫폼 등)

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

조직은 열정과 프로세스로 구성된다. But

(김형준) — Wed, 17 Mar 2010 10:52:04 +0900

트위터에는 일회성인 것 같아서 블로그에 기록합니다.
(from http://twitter.com/parkto)
조직은 열정과 프로세스로 구성된다." ; 프로세스를 구축한답시고 직원들의 가슴에서 열정을 송두리째 앗아가 버리고, 열정이라는 미명으로 프로세스를 쉽게 뭉게버리는 경우는 얼마나 많은지...

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

Digg서비스 MySQL에서 NoSQL로 이전

(김형준) — Fri, 12 Mar 2010 10:37:02 +0900

Digg 서비스가 MySQL에서 NoSQL인 Cassandra로 이관되었다고 합니다. 이관하면서 만든 도구는 오픈소스로 공개할 예정이라고 하네요... Cassandra 이놈도 분석좀 해봐야 겠네요.
http://itmanagement.earthweb.com/datbus/article.php/3870116/Digg-Moves-From-MySQL-to-NoSQL.htm

데이터 저장소를 바꾸는 것은 위험한 시도인데 이렇게 바꿀 수 있었던 것은 Digg내에 Cassandra 커미터가 있었기 때문에 가능했을 것이라고 추측해봅니다.
MySQL도 사용하고 있지만 MySQL은 small-scale 프로젝트나 프로토타입 만들때 사용한다고 하네요...

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.