'컴퓨터'에 해당되는 글 11건

  1. 2014.05.21 ubuntu 12.04LTS에서 maven을 이용한 hadoop source build하기

우선 git을 이용하여 소스코드를 다운 받자

 

hadoop-common git : https://github.com/apache/hadoop-common.git 

 

※ 자신의 git repository에 fork 해서 하면 소스 코드 변경 시 용이함

 

maven 설치


​sudo apt-get install maven

 

maven을 설치 했으면 소스코드 최상위 디렉토리에서 빌드를 시작


hadoop-common/BUILDING.txt를 열어보면 빌드 옵션이 나옴

 

처음에 텍스트를 보면 리콰이어먼트들이 나옴 거기에 있는걸 하나씩 설치

특히 Findbugs랑 Protocol buffer 때문에 처음 빌드하면 에러남

 

Findbugs : 설치 후 path 설정해주고

protocol buffer  : 2.5.0으로 변경해 줘야함 변경 후에는 역시 path설정해줘야 함

 

위에 requirement를 다 설치 했으면

mvn package 명령어를 통해서 build 및 binary를 만들 수 있음

및에 보면 옵션을 이용한 명령어 목록이 나오는데 test를 하면 시간이 오래 걸리니

mvn package -Pdist -DskipTests -Dtar 

 

명령어를 이용해서 빌드를 하면 됨 (txt에 다른 옵션들을 사용한 빌드 방법도 있으므로 참고해서 필요한 대로 사용)

 

이렇게 빌드가 된 결과는 

hadoop-dist/target/hadoop-version-snapshot에 있음 (내 경우엔 hadoop-3.0.0-snapshot)

 

그 디렉토리에 보면 여러 디렉토리가 있는데

binary는 /bin에 있고, configure를 해줘야하는 .xml파일들은 /etc에 존재함

 

.xml파일 잘 설정해서 사용하면 됨 

 

끝!

신고
Posted by youngjinkmi0706


티스토리 툴바