Git + Jenkins + Docker로 서버와 CI/CD구축하기
0️⃣들어가기 전
이 글은 프로젝트를 완성한 뒤, 프로젝트를 직접 배포하는 과정을 기록하는 글입니다.
위와 같이 Ec2로 서버를 구성하고 Github, Jenkins, Docker를 사용해 CI/CD를 구축해보겠습니다.
현재 Spring boot 서버로 통합하여 구현하긴 했지만, mysql과 swagger 서버도 각자 분리하는 것이 더 바람직합니다.
✔️ 플로우
Jenkins 서버
Git clone → Gradle 빌드 → Dockerfile로 도커 이미지를 빌드 → Docker Hub에 Image Push
Spring boot 서버
Docker Image pull → docker compose up
1️⃣ 인스턴스 생성
jenkins 서버와 개발서버(spring boot 서버)를 위해 총 2가지 인스턴스를 생성해야 합니다.
인스턴스를 생성한 뒤 포트를 허용해주기 위해서 각 인스턴스마다 인바운드 규칙을 수정해주어야 합니다.
1. 인바운드 규칙 및 용량 설정
- Jenkins 인스턴스
- 보안그룹의 인바운드 규칙에 사용자 지정 TCP로 8080(젠킨스 포트) 추가
- storage 용량을 30gb로 (build시 용량 부족오류 발생 방지)
- Spring boot 인스턴스
- 보안그룹의 인바운드 규칙에 사용자 지정 TCP로 8080(spring boot 포트) 추가
2. 인스턴스 접속
인스턴스에 접속하려면, pem키를 발급받은 뒤 사전 설정을 해야합니다.
✔️ pem(키페어)의 권한 변경
$ chmod 600 {키페어파일}- chmod: 파일 모드 변경 (읽기/쓰기/실행)
- 600 : 나에게만 읽기/쓰기 권한
✔️ pem으로 인스턴스 접속
$ ssh -i {키 페어 파일 경로} {사용자 이름}@{인스턴스의 IPv4 주소나 도메인}
2️⃣ Jenkins 서버 설정
pem키를 통해 인스턴스에 접속한 뒤 다음 설정을 진행합니다.
1. 필요 패키지 설치
$ sudo apt update
$ sudo apt upgrade
$ sudo apt install build-essential$ sudo apt install apt-transport-https ca-certificates curl software-properties-common
2. docker 설치
$ sudo wget -qO- <https://get.docker.com/> | sh$ sudo systemctl start docker$ sudo systemctl enable docker
✔️docker group 설정
sudo를 사용하지 않고 docker 명령어를 사용하기 위해서는 현재 사용자계정을 docker group에 포함시켜주면 됩니다. sudo는 관리자의 권한을 사용하기 위한 명령어이므로, 꼭 필요한 계정에만 docker group을 설정해주어야 합니다.
$ sudo usermod -aG docker ${USER}$ id -nG
3. jenkins 설치
$ docker pull jenkins/jenkins:lts$ docker run -d -p 8080:8080 -p 50000:50000 -v /jenkins:/var/jenkins -v /home/ubuntu/.ssh:/root/.ssh -v /var/run/docker.sock:/var/run/docker.sock --name jenkins -u root jenkins/jenkins:lts- ssh 설정을 위해 볼륨을 마운팅해놓습니다.
4. jenkins 접속
1) 브라우저에서 {ec2 IPv4주소}:8080 에 접속합니다.
접속하면 비밀번호를 입력하는 창이 나타납니다.
$ docker logs jenkins비밀번호를 입력한 뒤, install suggested plugins를 클릭해 설치합니다.
2) 계정 생성
계정 생성 후 메인보드가 나타나면 성공입니다.
3️⃣ Jenkins와 Github 연동
1. SSH Key 생성
Jenkins 외부에서 서버에 접근할 수 있도록 public key와 private key를 설정해주어야합니다.
SSH 키에 대한 설명은 다음에서 간단하게 정리하였습니다. SSH Key 동작원리
✔️ SSH Key 생성
$ ssh-keygen - Container 밖에서 ssh 키를 생성하면 Jenkins Container를 생성할 때 미리 마운팅해놓았던 볼륨 경로에 연결됩니다. (호스트 /home/ubuntun/.ssh → 컨테이너 /root/.ssh)
- EC2에 접속하면 기본 유저가 ubuntu이기 때문에 /home/ubuntu/.ssh에 프라이빗키(id_rsa 또는 id_ed25519)와 퍼블릭키(id_rsa.pub 또는 id_ed25519.pub)가 생성됩니다.
✔️ SSH Key 확인
$ cat /home/ubuntu/.ssh/id_rsa.pub 또는 cat id_ed25519.pub # public key 확인
$ cat /home/ubuntu/.ssh/id_rsa 또는 cat id_ed25519 # private key 확인
2. github에 Jenkins public key를 deploy key로 등록
✔️ github에서 등록
- github repository → settings → deploy keys → add deploy key에 접속합니다.
- key 부분에 위 명령어를 통해 확인한 ssh public key를 입력합니다.
3. Jenkins에 github의 credentials 등록
github에서 public key를 등록했으므로, Jenkins 서버에서 private key를 등록해 정보를 가져올 수 있도록 합니다.
✔️ jenkins에서 github이 사용할 private key 등록
- jenkins 관리 → security → credentials에 접속합니다.
- Store Jenkins에 Domain이 (global)인 화살표를 눌러 Global credentials (unrestricted)로 이동합니다.
- 왼쪽 메뉴의 Add credentials를 눌러 credentials를 추가합니다.
- kind: SSH Username with private key
- id: pipeline 작성 시 CredentialsId로 식별할 수 있는 값을 설정합니다. 저는 github으로 등록했습니다.
- private key에 enter directly 체크 Jenkins 서버의 SSH private key를 입력합니다.
4️⃣ Jenkins와 docker hub 연동
1. Jenkins에서 docker, docker pipeline 플러그인 설치
jenkins 관리 → plugins → available plugins → docker, docker pipeline을 설치합니다.
2. Jenkins에서 docker hub의 credentials 등록
jenkins 관리 → security → credentials에 접속합니다. docker hub에 대한 정보가 필요하기때문에, 없다면 가입이 필요합니다.
- kind: Username with password
- username: 본인 docker hub의 username(email이 아닙니다!)
- id: pipeline에서 식별할 수 있는 값을 입력합니다. 저는 dockerhub로 등록하였습니다.
- password: 본인 docker hub의 비밀번호
3. Jenkins 컨테이너 내부에서 docker.sock 권한 추가
pipeline을 작성하면 Jenkins 컨테이너 내부에서 docker 명령어를 사용해야 하는데, 컨테이너 내부에는 docker가 설치되어있지 않습니다.
이 때 docker container에서 또 docker container를 추가하기보다는, 호스트인 container의 docker.sock의 권한만 추가하면 사용할 수 있습니다.
✔️ 볼륨 마운트 확인
이는 Jenkins container를 가동할 때 아래의 명령어처럼 외부 docker volume을 마운트해놓았기 때문에 가능합니다.
$ docker run -d -p 8080:8080 -p 50000:50000 -v /jenkins:/var/jenkins -v /home/ubuntu/.ssh:/root/.ssh -v /var/run/docker.sock:/var/run/docker.sock --name jenkins -u root jenkins/jenkins:lts
✔️ docker.sock 접근 허용
아래의 명령어로 Jenkins container에 접속한 뒤 docker.sock에 대한 접근을 허용해줍니다.
$ docker exec -it jenkins bash
# sudo 설치 (docker 컨테이너에서는 sudo 명령어를 따로 설치해주어야합니다)
$ apt-get update && apt-get install -y sudo
$ adduser --disabled-password --gecos "" user \\
&& echo 'user:user' | chpasswd \\
&& adduser user sudo \\
&& echo 'user ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers
$ sudo chmod 666 /var/run/docker.sock
✔️ 잘 안되는 경우
하지만 저는 이게 잘 먹히지 않아서 container 내부에 docker를 설치해주었습니다. 참고: 2️⃣ Jenkins 서버 설정
5️⃣ Jenkins 와 Spring boot Server 연동
Jenkins서버가 Spring Boot 서버에서 도커 이미지를 Pull해서 실행하게 하기 위해 필요합니다.
Jenkins Pipeline Script에서 SSH를 사용하여 Spring Boot Server의 명령어 실행을 할 수 있도록 합니다.
1. Jenkins에서 SSH Agent 플러그인 설치
2. Spring Boot 서버에서 Jenkins public key 등록
Spring boot에서 Jenkins서버의 접속을 허용해주기 위해서 필요합니다.
# Jenkins Server에서 public key 확인
$ cat /home/ubuntu/.ssh/id_ed25519.pub
# Spring Boot Server에 Jenkins Server public key 추가
$ vi /home/ubuntu/.ssh/authorized_keys원래 있던 authorized_keys 내용을 건드리면 ssh 접속 오류가 날 수 있으므로 주의해야합니다.
잘 되던 pem키로 접속이 안되는 이슈 발생중간에 빌드하면서 자꾸 실패해서그런지, 잘 접속되던 pem key로 접속하려고 하니까 Permission Denied(Public Key) 오류가 발생했습니다.
authorized_keys도 다시 변경해보고 새로 keygen을 발급해서 변경해봐도 효과가 없던 찰나에, 아래처럼 권한을 다시 주니까 성공했습니다.
시도1. 파일 재생성 & 복사
$ echo 'ssh-rsa {프라이빗키}' >> /home/ubuntu/.ssh/authorized_keys시도2. 권한 부여 -> 성공
$ sudo chown root:root /home
$ sudo chmod 755 /home
$ sudo chown ubuntu:ubuntu /home/ubuntu -R
$ sudo chmod 700 /home/ubuntu /home/ubuntu/.ssh
$ sudo chmod 600 /home/ubuntu/.ssh/authorized_keys참고 : https://repost.aws/knowledge-center/ec2-linux-fix-permission-denied-errors
2. Jenkins에 Spring Boot서버 SSH 등록
앞서 github Credentials를 등록했던것과 마찬가지로 등록합니다. (참고: ✔️ jenkins에서 github이 사용할 private key 등록)
동일한 Credentials를 사용해도 되지만, 서비스를 구분하기 위해 추가로 등록하였습니다.
6️⃣ Jenkins와 Git webhook 연동
Git의 특정 repository에서 push event가 발생했을 때 Jenkins build가 실행되게끔 구현하기 위해서 pipeline과 github webhook을 연동해야합니다.
1. Jenkins에서 Github Integration Plugin 설치
Jenkins 대시보드 > Jenkins 관리 > 플러그인 관리 > 설치 가능 > Github Integration 플러그인을 검색하고 설치 및 재실행합니다.
2. Jenkins pipeline 설정
- Github project 설정Pipeline 구성 화면 > General 영역에서 Github project를 선택한다. Project url에 본인의 Github Repository Url을 입력한다. 이 때 Repository Url은 Clone 시 사용하는 HTTPS Url(.git으로 끝남)을 입력합니다.
- Build Triggers 설정Pipeline 구성 화면 > Build Triggers 영역에서 GitHub hook trigger for GITScm polling을 선택합니다.
3. Github Webhook 추가
Github Repository에서 Settings > Webhooks > Add Webhook 을 눌러 Webhook을 추가합니다.
- Payload URL {Jenkins Server URL}:{Jenkins Server 포트}/github-webhook/
- Content type application/x-www-form-urlencoded
- 나머지는 모두 default 설정 유지 Add webhook 버튼을 눌러 Webhook을 추가 → 목록에서 녹색 체크 아이콘이 생성되면 성공입니다.
7️⃣ Jenkins Pipeline 작성
pipeline {
agent any
environment {
imagename = '{docker hub에 올린 spring boot image}'
registryCredential = 'dockerhub'
dockerImage = ''
}
stages {
stage('Git Clone') {
steps {
echo 'Cloning Repository'
git url: 'git@github.com:{git ssh주소}',
branch: 'prd',
credentialsId: 'github'
}
post {
success {
echo 'Successfully Cloned Repository'
}
failure {
error 'This pipeline stops here...'
}
}
}
stage('Build Gradle') {
steps {
echo 'Build Gradle'
dir('.') {
sh 'chmod +x gradlew'
sh './gradlew clean build -x test'
}
}
post {
failure {
error 'This pipeline stops here...'
}
}
}
stage('Build Docker') {
steps {
echo 'Build Docker'
script {
dockerImage = docker.build("${imagename}")
}
}
post {
failure {
error 'This pipeline stops here...'
}
}
}
stage('Push Docker') {
steps {
echo 'Push Docker'
script {
docker.withRegistry('', registryCredential) {
dockerImage.push()
}
}
}
post {
failure {
error 'This pipeline stops here...'
}
}
}
stage('Docker Run') {
steps {
echo 'Pull Docker Image & Docker Image Run'
sshagent (credentials: ['ssh']) {
sh "ssh -o StrictHostKeyChecking=no ubuntu@{서버IP} 'docker pull ${imagename}'"
sh "ssh -o StrictHostKeyChecking=no ubuntu@{서버IP} 'docker compose -f /home/ubuntu/spring/compose/docker-compose.yml up --build -d'"
sh "ssh -o StrictHostKeyChecking=no ubuntu@{서버IP} 'docker image prune -f'"
}
}
}
}
}- docker-compose로 docker를 빌드합니다.
- 컨테이너의 볼륨 설정을 통해서 application.yml을 따로 관리할 수 있도록 설정하였습니다.