최근 Google AppEngine에서 Mapper API를 제공하고 있다. TaskQueue를 이용해 MapReduce를 구현한 라이브러리를 제공해준다. GAE 자체에서 Cron이나 여타 서비스 형태의 MapReduce가 아니라 제공된 라이브러리가 MapReduce를 구현한 것이다. Hadoop과 같이 웹 인터페이스를 제공해 Job을 시작하거나 멈추게 할 수 있고 모니터링도 제공하고 있다.
구현은 8개의 Shard를 구성해 TaskQueue를 이용 백그라운드 병렬처리를 하도록 하고 있다. Datastore에 대한 대량의 작업을 하거나 여타 통계 작업 등에 활용할 수 있다. 물론 CPU사용에 대한 과금을 하기 때문에 하려고 하는 작업에 대해 잘 분석해서 사용해야 한다.
테스트로 Datastore에 있는 id에 대해 memcache에 set하는 한 줄짜리 오퍼레이션을 처리하도록 해봤다. 평균적으로 초당 100건의 mapping을 처리하며 20분 동안 약 12만 개 처리했다.
현재 Python, Java 라이브러리를 제공하고 있다.
svn checkout http://appengine-mapreduce.googlecode.com/svn/trunk/python/src/mapreduce
참고
1. MapReduce: Getting Started In Python
