■ 가상의 서버 개발자 이야기


내 이름은 '오섭다'. 서버 개발팀에서 일하고 있다.

오늘은 무척 특별한 날이다. 2년 동안 만들던 게임을, 드디어 오늘! 1차 클로즈베타테트(이하 CBT)를 연다. 오늘을 위해 2개월간 연속된 야근을 했다. 이제 할 수 있는 모든 테스트를 마쳤다.

테스트하는 동안 여러 가지 새로운 기획도 들어갔다. 새로운 기획은 아직 테스트를 충분히 못 해서 불안하다. 시전하면 광역으로 독 데미지를 주는 법사 스킬은 어제 급하게 넣어서 더욱 걱정이다. 그렇다고 일정을 미룰 수는 없다. 이미 사업팀에서 클로즈베타 공고를 냈고 여기저기 웹진에 배너 광고를 올렸기 때문이다. 게다가 너무 오랫동안 야근하다 보니 지칠대로 지쳐서, 빨리 쫑을 보고 싶은 것이 지금의 심정이다.

CBT가 열리는 시간은 오후 2시로 공고가 나간 상태다. 점심을 서둘러 먹고 쉴 시간도 없이 바로 자리에 앉아, 각종 서버 상태를 몇 번이고 확인했다. 사내 접속만 허용한 채로 테스트를 해봤고, 아무 문제 없이 서버가 열리고 접속을 받을 수 있는 것도 확인했다. 이제 모든 것이 준비되었다.

1시 59분이다. 카운트 다운이 시작된다. 10,9,8,7,… 사람들이 뒤에서 따라 외친다. “오! 사! 삼! 이! 일!” 땡! 서버 프로그램 런칭 버튼을 눌렀다!

동시접속자수 0을 보여주던 서버 관리 프로그램이 보여주던 숫자가 파바박 올라가기 시작했다. 모니터 앞에 모여있던 사람들은 손에 땀을 쥐기 시작한다.

“와~ 잘 되는데?”

그 순간, 갑자기 0으로 추락해버린다. 0… 0… 0…

모니터를 바라보던 사장님과 PD의 얼굴이 새하얗게 변한다. 그리고 모두의 따가운 시선이 우리에게 꽂혔다. 서버 파트 동료는 어느 때도 본 적이 없는 번개 같은 손놀림으로 서버 프로그램 로그를 들추고 있다. 또 다른 동료는 키보드를 만지는 손이 덜덜 떨리고 있다. 다른 직원들은 급히 자기 자리로 돌아가서 직접 게임에 접속해본다. 나도 각 서버에 원격 모니터링을 켜서 각 서버의 실행 상태를 들춰보기 시작했다.

저쪽 운영팀 자리에서 웅성거리는 소리가 들린다. 게시판에 항의하는 글이 올라오고 있다고 한다. 대부분 짜증을 토로하는 글이고 일부는 욕설이지만, 일일이 응대하며 사과 댓글을 달아주고 있다. 그리고 몇몇 유저들은 게임 안에서 무엇을 하고 있었는지 친절하게 적어주셨다고 한다. 대부분이 비슷한 내용이다.

운영팀은 비슷한 것들을 취합해서 우리들에게 요약을 전달했다. 우리는 로그와 제보와 서버에 쌓인 오류 기록을 분석했다. 유저들의 제보에서 결정적인 원인을 짐작했다. 어이없게도, 서버 쪽 프로그램 한 줄에 부호가 잘못 들어간 것을 찾아낸다. PD에게 보고했고 금방 고칠 수 있다고 말해주었다.

그리고 PD가 크게 소리쳤다. “운영팀! 사과 공지하시고 서버 30분 뒤에 재시작 공지하세요! 서버팀! 15분안에 패치 완료하세요!”

자동화된 빌드 시스템과 서버 자동 패치 시스템을 구축해놓았으니 망정이지, 이나마도 안 해놨으면 십여 대가 넘는 서버 머신에 15분 안에 서버 패치를 하는 것은 불가능했을 것이다. 30분간의 점검을 끝내고 서버를 다시 띄웠다. 동시접속자는 동시접속자수는 다시 0부터 시작해, 아까와 마찬가지의 속도로 상승하기 시작했다.

“아! 이번에는 제발 잘 되기를!”

동시접속자가 늘어나고 있는데, 갑자기 동시접속자수에 변화가 없다. 숫자가 전혀 변하지 않는다. 사람들이 수군거린다. “뭐지? 이상한데?” 서버팀 프로그래머들은 잽싸게 자기 자리로 뛰어갔다. 서버가 작동은 하고 있는데 어디선가 막혀버렸다. 이른바 데드락(dead lock. 서버는 작동하고 있지만, 내부 로직이 교착에 걸려서 진행이 멈춰버린 상태) 현상 같다는 육감을 느꼈다. 우리는 즉시 여기저기 서버 모니터를 확인했다. 서버 처리량이 0%를 찍고 있는 곳을 찾았다.

“사실상 서버 다운입니다. 빨리 고칠게요.”
“얼마나 걸리나요?”
“이번에는 모르겠어요. 원인을 찾아야 말씀드릴 수 있습니다.”

운영팀은 30분 점검을 공지했다. 우리 서버 개발 파트는 평소 본 적이 없는 매서운 눈빛으로(그리고 창백한 얼굴로) 시커먼 창을 열었다 닫았다 한다. 30분이 지났지만 우리는 여전히 원인을 모른다.

“1시간 더 걸릴 것 같아요.”

점검이 1시간 연기되었다. 조금 있다가 드디어 저쪽에서 서버 프로그래머 한 명이 소리친다. “찾았습니다! 바로 고치죠!” 프로그램팀장이 소리친다.

“고친 서버 잘 작동하는지 내부 테스트 돌려봐요!”

아뿔싸. 사내 테스트 서버가 바로 다운되었다. 서버 프로그래머들은 수정한 것 어딘가에서 부작용을 일으킨 것으로 파악했다. 큰일이다. 안 고치면 서버가 얼어버리고 고치면 서버가 다운된다. 원인은 더욱 오리무중이다. 점검 시간을 더 늘릴 수는 없었다. 일단 지금 상태의 서버를 띄웠다. 곧 다시 다운되겠지만 어쩔 수 없다. 우리 서버파트는 미친 듯이 버그의 원인을 찾아다녔다. 백사장에서 바늘 찾는 기분이었다.

서버 시작과 다운이 반복되는 동안, 결국 4시간이 더 지나서야 원인을 찾아 해결할 수 있었다. 30분 점검 공지가 올라갔고, 조금 있다가 서버를 내렸다. 그리고 서버 패치를 부랴부랴 했다. 그리고 번개 같은 손놀림으로 서버를 다시 띄웠다. 양쪽 겨드랑이가 흥건하게 젖어 버렸다.

고맙게도, 기다려주던 열혈 유저들이 바로 접속을 해 주신다. 아까 동접자수도 거뜬히 넘겼다. 이제 좀 안정된 것 같다. 서버 관리 프로그램에서 보여주는 서버 상태 그래프는 아주 순탄했다. 사람들이 접속하면서 저레벨 필드에서 몹사냥을 시작했다. 여기저기서 재미있다는 감탄사가 들려왔다. 우리도 잠시 안도하면서 담배를 피우러 나갔다.

담배한대 물려는 순간, 저쪽에서 동료가 후다닥 뛰어온다. “1레벨 마을에서 랙이 심해요!” 우리는 담배를 후다닥 끄고 자리로 뛰어왔다. 게임을 테스트하던 동료의 화면을 봤다. 캐릭터가 사방팔방 워프를 하고 다니고 있었다. 서버 과부하 현상에서 나타나는 모양이다.

바로 내 자리로 돌아가서 1레벨 마을을 처리하는 서버 모니터를 켰다. 서버 CPU 사용량이 100%를 치고 있었다. 일반적으로 게임 서버는 50%대를 유지해야 안전한데 그 한계선을 넘어서 버린 것이다. 유저들이 모두 처음 게임을 하는지라, 모두가 1레벨 마을에 캐릭터가 등장(스폰)하기 마련인데, 그 바람에 1레벨 마을을 담당하는 서버에 과부하가 걸린 것이다.

PD가 와서 우리에게 해결책을 물었다. 응급조치로, 서버 채널 개수를 빨리 늘려야 한다고 제안했다. 운영팀은 15분 뒤 서버 점검을 공지하기로 하고, 점검 시간 30분 동안 서버 채널을 늘리기로 했다. 즉시 우리는 채널을 늘리기 위한 빈 서버를 세팅해달라고 퍼블리셔 측에 전화를 했다. 몇 분도 안 돼서, 퍼블리셔 측에서 준비가 다 됐으니 바로 쓰라는 연락이 왔다. 이러한 일을 예상하고 서버 장비들을 충분히 예비해 둔 퍼블리셔의 예지력에 감탄했다.

15분 뒤 점검이 시작된다는 공지 문구가 게임 화면 위를 지나가는 동안 전체 채팅창에는 유저들의 짜증 섞인 채팅들이 올라오기 시작했지만 그런 것에 마음 쓸 여유가 없었다. 머릿속에는 다른 아무 생각도 할 겨를도 없었다.

잠시 후 서버는 내려갔고, 우리는 신규 서버의 설정 변경을 거의 마쳐가고 있었다. 그 순간, 자기 자리에서 일하던 동료가 소리를 쳤다. “서버 안에서 다운되는 버그를 하나 찾았어요! 지속 힐 버프 있는 캐릭터에 광역 독 데미지 스킬을 쓰면 다운되는 경우가 있습니다. 패치가 필요합니다!”

맙소사. 점검은 앞으로 대략 10분 정도 안에 끝나야 하는데 서버 패치를 해야 한다고? “약속한 점검 시간은 지킵시다. 그냥 서버 올려요.” PD의 결정에 따랐다. 다시 서버를 올렸고, 유저들이 다시 쏟아져 들어왔다. 그 짧은 순간에 서버 채널을 늘리는 모습을 보고 칭찬하는 유저들도 있었다. 하지만 대부분의 유저들은 잦은 점검 때문에 이미 짜증이 날대로 나 있었다.

광역 독 데미지 관련 버그를 고치고 있는 동안 우리는 어느 누구도 그러한 짓을 하지 말기를 속으로 빌었다. 그리고 그 기대는 여지없이 깨져버렸다. 역시나! 누군가가 그 짓을 한 것이다. 일단 바로 서버를 띄우기로 했다. 자주 생기는 일은 아니니까.

“언제까지 고칠 수 있어요?” PD가 지친 목소리로 묻는다.

이번에는 빨리 고치기는 어려울 것 같다. 아무리 소스를 봐도 어디가 잘못된 것인지 알 수 없었다. 광역 독 데미지 같은 것은 서버에서 처리 방식이 복잡하다. 게다가 서버 부하도 많이 일으킬 수 있는 부분이다. 충분히 테스트해보고 넣었어야 했는데 막판에 급히 넣은 것을 후회하기 시작했다.

대답할 수 없었다. 그때, 인터넷에서 누군가가 한 말이 기억났다. 이럴 때는 일단 빼고 서버 올리라고.

<img src="http://img.inven.co.kr/column/jukz_pre_reporter_2012/20120307120330104.png">
[ ▲ 사실 필자가 한 말이다. ^^ ]

저쪽에서는 서버를 띄우고, 다운되는 현상이 일어나는 동안, 우리 서버 개발 파트는 새로 넣은 스킬을 막기 시작했다. 클라이언트파트도 새로 넣은 스킬을 쓰지 못하도록 하는 패치를 만들고 있었다. 새로 넣은 스킬을 완전히 막아버린 패치를 적용하기 위해, 30분 점검 공지를 올렸다. 그때까지 서버 다운과 재 시작이 여러 번 반복되었다고 한다. 유저 게시판은 안 봐도 뻔하다.

…

CBT를 시작한 지 3일이 지났다. 우리 개발팀은 다들 좀비가 되어 있었다. 집에 못 들어가고 잠도 몇 시간씩밖에 못 자면서 점검과 패치를 미친 듯이 했다. 1차 CBT에 서버를 24시간 틀어버리는 계획은 도대체 누구 머리에서 나온 것인지 모르겠다.

“오늘 점검만 10번째” “이따위 거지 같은 서비스로 무슨 클베를 하겠다고 ㅉㅉ“ “운영자님아 다들 집에서 놀고 계신감? ㅋㅋㅋ” 제발 집에서 놀고 싶다 이 사람들아… 운영팀도 다들 녹초가 됐다. 며칠째 집에 못 가고 과로로 생리 불순인 여성 직원도 생겼다고 한다.

…

드디어, 보름간의 지옥 같은 1차 CBT를 끝냈다. 간단하게 맥주 파티를 벌이고 다들 퇴근했다. 개발팀은 내일부터 2일간 휴가가 주어졌다. 하지만 집에서도 마음이 놓이지 않았다. 컴퓨터를 켜고 쌓여있는 유저 게시판을 들추어 봤다. 항의와 짜증과 격려가 뒤섞여 있었다. 이틀 뒤 출근했더니 운영팀에서 버그 제보를 모두 정리해서 우리에게 공유해 주었다. 5백여 가지의 제보 중 3백여 개는 2차 CBT 전에 서버 파트에서 모두 잡아야 한다.

퍼블리셔에서 연락이 왔다. 3개월 뒤에 2차 CBT를 해야 한다고. 이번에는 더 많은 사용자를 불러 모을 예정이란다. 일정은 고정되어 있으며, 연기 불가능하다고 한다.

기획팀에서는, 2차 CBT전에 중요 콘텐츠가 더 들어가야 한단다. 결정적으로, 이번 CBT를 통해 밸런스 문제가 심각하다는 것을 파악했고, 때문에 시스템 기획서를 대폭 수정할 것이라고 말한다.

다음 CBT가 끝날 때까지 매일 야근은 피할 수 없을 것 같다. 그래도 오픈베타테스트가 아니니 그나마 다행이다. 오픈베타테스트때 이렇게 서비스가 엉망이면 그때는 정말 답이 없었을 테니 말이다.


출처 : http://www.inven.co.kr/webzine/news/?news=42776