구글의 웹서버

출처 - http://kr.blog.yahoo.com/jhrogue/1356979

(사진: 구글 클러스터) 원래 '새소식 정리' 부문은 컴퓨터 업계 동향이나 새로운 소프트웨어 소개를 위한 장으로 마련했는데, 요즘은 거의 매주 구글 관련 소식을 싣지 않으면 입안에 가시라도 돋히는 모양이다. 이번 주는 구글을 움직이는 하드웨어와 소프트웨어 원동력에 대해 한번 살펴보기로 하자. 1. 숫자로 보는 구글 * 이 글을 쓰는 현재 구글 웹 페이지 색인 숫자는 8,058,044,651 개이며, 평균 페이지는 10킬로바이트 정도이며, 메타태그가 아닌 본문 전체를 대상으로 전문 색인을 수행한다. * 클러스터 하나당 PC 2000대이다. * 30개가 넘는 클러스터가 존재한다. * Klingon(http://www.omniglot.com/writing/klingon.htm)과 Tagalog(http://www.omniglot.com/writing/tagalog.htm)을 포함하여 104개 언어를 지원한다. * 클러스터당 1 페타바이트(http://www.webopedia.com/TERM/P/petabyte.html)를 차지한다. * 클러스터 내부에서 2Gbps로 자료를 전송한다. * 클러스터당 매일 컴퓨터 두 대가 고장난다. * 2000년 2월 이후 한번도 심각한 장애가 생긴적이 없다. * 단일 클러스터 프로젝트 중 최고 인력 투입: 박사급 연구원 200명, 기타 600명 2. 하드웨어 * 일반 x86 CPU에 표준 IDE를 장착한 일반 PC를 사용한다. * 평균적으로 하루에 한 대 이상 고장난다. * 모든 서버는 복사본이 50개 존재한다. * 서버는 전원선과 네트워크 선만 연결하면 자동으로 프로그램과 데이터를 내려받는다. * 블레이드 서버가 아닌 일반 서버이므로, 제곱 피트당 전력을 500W 정도 소모한다. 3. 소프트웨어 * GFS(Google File System)을 통해 SCSI도 아니며 RAID도 아닌 표준 IDE 디스크에 색인 자료를 저장 - GFS는 범용 파일 시스템이 아니라 색인 저장을 위한 전용 파일 시스템이다. 블록 크기가 자그마치 64Mbytes이다. * 디버깅을 위한 별도 환경을 갖추고 있다. * 철자 교정기: 학습을 통해 끊임없이 정확한 철자를 학습하는 시스템을 갖추고 있다. 클러스터에 존재하는 80대에 이르는 컴퓨터 케이블을 동시에 뽑아버리더라도 잠깐 느려지다가 다시 원래대로 복원하는 클러스터링 기술에는 감탄을 금할 수 없다. 뱀다리) 구글 뉴스 그룹 서비스(http://groups-beta.google.com/)에 또 한차례 기능 추가를 한 모양이다. 아무리 생각해도 정말 대단한 회사가 아닐 수 없다. http://www.zdnet.com.au/insight/software/0,39023769,39168647,00.htm http://internet.watch.impress.co.jp/cda/event/2004/11/16/5430.html EOF ---- 조엘 온 소프트웨어를 읽다가 구글 웹서버에 대해서 번역하신 분께서 포스팅해 놓은 블로그주소를 적어주셨길래 들어가봤다. 역시 보통 회사가 아니다-_-; 단순한 검색엔진 개발자라고 하기에는 너무도 엄청나다. 철저하게 자기만의 철학을 가지고 모든 것을 스스로 구현해가고 있다.; x86 컴퓨터를 사용한 클러스터링과 자체 파일 시스템.. 진짜 대단하다~