크래프톤 AI 역량 평가에서 개발 경험 없는 매장 직원 출신이 상위권에 오른 이유 (크래프톤 구한모·조정석님)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

크래프톤 AI 역량 평가에서 개발 경험 없는 매장 직원 출신이 상위권에 오른 이유는 현장에서 쌓은 고객 이해를 제품 설계에 반영하고, AI를 활용해 완성도 있는 결과물로 구현했기 때문이다.

📌 핵심 요점

1. 매장 경험이 제품 판단의 강점으로 작용했다. CJ올리브영과 함께한 해커톤에서 약 2년의 매장 근무 경험을 가진 비개발 참가자가 상위권에 올랐다. 화장품 쇼핑몰 사용자에게 중요한 요소를 이해하고 설계에 반영한 점과 뛰어난 AI 활용 능력이 높은 점수로 이어졌다.
2. AI 네이티브 역량은 업무를 다시 설계하는 능력이다. 기존 작업을 빠르게 처리하는 수준을 넘어, 목적에 맞춰 필요한 기능을 만들고 데이터를 연결하며 업무 흐름 자체를 재구성한다. 도구 사용법만큼 문제를 정의하고 해결 방향을 정하는 판단이 중요하다.
3. 프로브는 실제 협업과 유사한 수행 과정을 관찰한다. 간략한 과제와 개발 환경을 제공하고, 지원자가 현업 담당자 역할의 에이전트에게 질문하며 요구사항을 찾아내도록 한다. 사소한 질문에서 출발해 맥락을 모으되, 해결 방법은 지원자가 직접 판단해야 한다.
4. 평가는 결과물·AI 활용·결과에 대한 이해를 함께 본다. 완성도 있는 구현뿐 아니라 요구사항과 설계를 AI와 구체화하는 과정, 작업 성격에 따른 위임, 자신의 선택을 설명하는 능력을 확인한다. 범용적으로 정교한 설계라도 제품에 불필요한 복잡도를 더하면 적합성이 떨어질 수 있다.
5. 개인이 축적한 도구와 비용 감각도 업무 역량에 포함된다. 평소 사용하는 스킬과 작업 환경을 활용하는 능력을 중시하며, 도구·토큰·비용도 추적한다. 관찰 사례에서는 우수한 지원자가 비용을 적게 쓰는 경향이 있었지만, 이를 보편적 법칙으로 단정할 근거는 제시되지 않았다.

🧩 배경과 문제 정의

• 기업은 AI를 잘 활용하는 인재를 채용하고 싶지만, 기존 코딩 테스트와 면접만으로는 실제 업무에서의 문제 정의·판단·AI 활용 능력을 확인하기 어렵다.
• AI 리터러시는 기존 업무의 효율화에 가깝고, AI 네이티브 역량은 AI를 전제로 업무 방식 자체를 다시 설계하는 능력까지 포함한다.
• 크래프톤의 프로브는 현업과 유사한 과제를 수행하는 과정을 관찰해 결과물의 완성도, AI 활용 방식, 결과물에 대한 이해도를 함께 평가하려는 솔루션이다.
• AI가 그럴듯한 결과물을 만드는 환경에서는 업무 목적에 맞게 AI를 통제하고, 자신이 만든 결과를 이해하는 사람을 구별하는 일이 중요해진다.

🕒 시간순 섹션별 상세정리

1. 기존 채용 과정에서 놓칠 수 있는 인재

• 매장에서 약 2년 근무한 경험이 있는 참가자가 평가 상위권에 올랐다. 기존 채용 과정이었다면 놓쳤을 만한 인재라는 평가를 받았다 [00:31]

2. 기업의 AI 인재 선발 고민을 평가 솔루션으로 전환

• 크래프톤은 채용 과정에서 지원자의 AI 역량을 평가하는 솔루션을 개발하고 있다. 기업들이 AI를 잘 쓰는 사람을 원하면서도 이를 어떻게 확인하고 평가할지 고민한다는 점이 출발점이다 [03:35]
• 내부에 축적한 평가 노하우를 솔루션으로 확장하면서, 단순한 도구 사용 여부뿐 아니라 ‘AI를 쓴다는 것이 무엇인가’라는 질문도 평가 설계에 담고 있다 [03:57]

3. AI 네이티브 역량은 업무 방식 자체를 다시 설계하는 능력

• AI 리터러시를 갖춘 사람은 도구와 사용법을 이해하고 기존 워크플로를 효율화한다. AI 네이티브인 사람은 기존에 일하던 방식과 무관하게 워크플로 자체를 재설계한다 [04:44]
• 목적과 의도를 명확히 한 뒤, 기존 서비스 대신 필요한 기능을 직접 만들거나 데이터를 연결해 해결하는 선택까지 고려한다. 도구 지식과 함께 업무를 새롭게 구성하려는 태도가 필요하다 [05:06]

4. 엔지니어의 업무가 구현에서 작업·검증 설계로 이동

• 조정석은 구현 범위와 버그 수정 범위, 에이전트가 확인할 영역을 구체화하는 데 업무 시간 대부분을 쓴다. 어떤 데이터로 구현 결과를 검증하고, 로컬·개발·프로덕션 환경에서 어떻게 확인할지도 함께 설계한다 [06:10]
• 퇴근할 때 에이전트 네다섯 개를 실행하고 다음 날 결과를 확인해 다시 할 일을 정한다. 토큰 비용은 발생하지만 회사의 지원을 받아 작업을 병렬로 진행한다 [06:54]

5. 공유 메모리와 자동화에는 초기 시간 투자가 필요

• 구한모는 옵시디언에 할 일과 생각을 구조화하고, 이를 AI가 활용할 맥락으로 사용한다. 같은 저장소를 여러 모델이 공유하는 메모리·스킬 창고로 삼고, 정기 작업으로 참고 자료를 갱신한다 [08:26]
• 개인도 자동화에 필요한 초기 시간을 자본 투자처럼 판단해야 한다. 설정에 투입할 시간과 이후 매일 줄어드는 작업량, 의사결정에 쓰는 에너지를 함께 따져야 한다 [09:35]

6. 코딩 테스트를 넘어 함께 일하는 과정을 관찰

• 프로브는 AI를 기반으로 한 업무 역량 테스트를 지향한다. 사람과 하루 정도 함께 일하면 역량을 효과적으로 파악할 수 있지만, 수천 명의 지원자에게 이 방식을 적용하기는 현실적으로 어렵다 [11:13]
• 기존 코딩 테스트는 측정 가능한 방식으로 지원자를 먼저 선별하고, 면접에서 함께 일할 모습을 간접적으로 확인하는 수단이었다. 프로브는 처음부터 실제로 함께 일하는 것과 유사한 경험을 제공하고 그 과정을 관찰하려 한다 [11:58]

7. 모호한 요구에서 문제를 정의하는 능력까지 평가

• 응시 환경은 알고리즘 문제 풀이보다 현업에 가깝게 구성한다. 터미널과 AI 코딩 도구를 제공하고, 과제 설명은 간략하게 제시한다 [12:34]
• 실제 업무에서는 목적과 제약이 완벽하게 정리된 문제가 주어지지 않는다. 지원자가 불명확한 요청에서 문제를 정의하는 능력도 업무 역량이며, AI로 개발 속도가 빨라질수록 엔지니어의 의사결정 부담도 커진다 [13:02]

8. 현업과 유사한 개발 환경과 외부 스킬 활용

• IDE 형태의 화면에서 디렉터리와 README를 확인하고, 터미널에서 클로드 코드나 코덱스를 사용할 수 있다. 구현한 웹 화면을 내부 브라우저로 확인하는 기능도 제공한다 [14:36]
• 고객사의 요구에 따라 지원자가 평소 사용하는 스킬을 업로드해 활용하는 환경도 제공할 수 있다. 외부의 좋은 스킬을 찾아 가져다 쓰는 능력 역시 중요한 역량으로 본다 [15:12]

9. 사소한 질문으로 맥락을 모으되 해결 판단은 직접 수행

• 처음부터 수준 높은 질문을 해야 하는 것은 아니다. 사소한 질문으로 정보를 모으고, 확보한 맥락을 바탕으로 질문을 점차 구체화하는 지원자가 좋은 평가를 받는다 [16:14]
• 당장 해야 할 일을 순서대로 모두 알려 달라는 요청은 평가 취지와 맞지 않는다. 에이전트는 정답을 대신 제시하기보다, 지원자가 질문을 통해 필요한 내용을 도출하도록 설계되어 있다 [16:51]

10. 선수 인터뷰 연습 서비스로 요구사항 탐색부터 구현까지 확인

• 예시 과제는 글로벌 e스포츠 대회의 실제 업무 수요를 모사했다. 선수가 인터뷰 전에 혼자 질문에 답하고 자신의 답변을 돌아보며, 담당자의 코칭 방식도 서비스에 자연스럽게 반영하는 것이 초기 요청이다 [18:14]
• 세부 요구사항은 한 번에 공개하지 않는다. 지원자가 현업 파트너 역할의 에이전트에게 업무 방식을 질문하면서 필요한 정보를 하나씩 끌어내야 한다 [19:09]

11. 작업 과정과 비용을 함께 추적해 효율성 확인

• 한 사람이 일하는 동안 약 20명의 AI 에이전트가 옆에서 관찰하는 것과 유사한 구조다. 사람을 붙여 하루 동안 업무를 지켜보는 평가를 AI로 구현하려는 접근이다 [20:34]
• 평가자는 지원자가 사용한 도구와 토큰, 비용을 확인할 수 있다. 관찰한 사례에서는 잘하는 지원자일수록 비용을 적게 쓰는 경향이 있었으며, 비용을 고려한 문제 해결 능력도 중요한 평가 관점이다 [21:20]

12. 결과물의 완성도와 AI를 주도하는 방식을 구분

• 첫 번째 평가축은 결과물의 완성도다. 아키텍처를 얼마나 적절하게 구성했는지, 제품 개발에 어떤 스킬을 활용했는지 등이 포함된다 [22:39]
• 두 번째 평가축은 AI를 다루는 능력이다. 과제 지시서를 그대로 복사해 전부 맡기는 방식보다 요구사항을 따져 보고, 구조와 제품 설계를 AI와 구체적으로 논의하는 방식을 높게 평가한다 [23:02]

13. 인지 평가는 자신이 만든 결과를 이해하는지 확인

• 세 번째 평가축인 인지는 AI가 만든 결과를 지원자가 얼마나 이해하는지에 초점을 둔다. AI에 끌려가는 사람과, 대화하며 배우고 주도적으로 수행하는 사람을 구분하려는 목적이다 [24:07]
• 결과물에서 문제를 만들어 사용한 패턴과 선택 이유를 확인한다. 특정 패턴이 제품의 생애주기에서 왜 유효한지 설명할 수 있는지가 중요하다 [24:26]

14. 범용적으로 좋은 설계도 제품 요구에는 과할 수 있음

• 읽기 API만 필요한 상황에서 쓰기 요청까지 고려한 방어 로직을 촘촘히 넣어, 오히려 부하를 늘린 사례가 있었다. 범용적으로 잘 설계했더라도 해당 제품의 요구사항에 적합한 설계인지는 별도로 판단해야 한다 [25:26]
• AI가 정교하고 범용적인 결과물을 만들 수 있게 되면서 과도한 설계도 발생한다. 제품 맥락에 맞춰 복잡도를 조절하는 능력은 여전히 사람의 역할이라는 관점이며, 인지 평가에서도 이를 중요하게 본다 [26:19]

15. 도구보다 먼저 목적을 세우고 주도권 유지

• 비즈니스 목표와 주변 맥락을 종합해 필요한 방향을 판단하고, AI가 다른 방향으로 갈 때 이를 조정하는 능력이 중요하다. AI의 제안을 계속 받더라도 자신의 판단 기준을 유지해야 한다 [27:01]
• 엑셀 모델링에서도 도구를 다루는 데 몰입하다가 원래 풀어야 할 문제를 놓칠 수 있었다. AI를 사용할 때도 먼저 해야 할 일을 생각하고 방향을 세워야 하며, 이런 주도성은 프롬프트를 통해 의도 평가에서도 관찰된다 [28:00]

16. 세부 판정에 코드·화면·실행 상태의 근거를 연결

• 평가 결과는 기술·의도·인지별 세부 역량과 루브릭, 판정 근거를 확인할 수 있도록 구성한다. 소스 코드에서 어떤 기준에 따라 세부 판정이 이루어졌는지도 추적할 수 있다 [29:01]
• 프런트엔드 과제는 실제 화면의 스크린샷을 제공하고 내부 실행 상태도 점검해 판정에 반영한다. 코드뿐 아니라 구현 결과와 작동 상태까지 평가 근거로 활용한다 [29:29]

17. 모델별 점수 차이로 평가 하네스의 신뢰성을 점검한다

• 모델에 문제를 풀렸을 때 기존 벤치마크와 비슷한 성능 순서가 나오면 평가 기준을 신뢰할 근거가 된다. 실제 평가에서도 그러한 경향이 나타난다. [30:03]
• 오퍼스가 약 95점이면 다른 모델은 70점대, 소넷은 그 중간에 위치하는 식으로 점수가 구분된다. 이러한 결과를 탄탄한 평가 하네스의 효과로 설명하며, 관련 기술 설명은 향후 블로그에 공개할 가능성을 언급한다. [30:22]

18. 개인이 축적한 AI 스킬과 작업 환경도 경쟁력에 포함한다

• 평소 쓰던 핸드오프 스킬을 가져온 참가자에게 가중치를 주는 방식은, 모든 것을 직접 만들어야 한다는 고집보다 기존 자산을 활용해 빠르게 판매 가능한 결과물을 만드는 역량을 중시한다. 코드의 아름다움이나 픽셀 단위의 완벽함에 대한 집착도 생산성과 함께 재검토할 대상이 된다. [30:42]
• 평가 환경은 지원자가 평소 일하는 환경과 최대한 비슷해야 한다는 철학을 따른다. 입사 첫날 익숙한 프로그램과 플러그인을 설정하듯, 개인이 쌓아 온 작업 환경을 활용하게 하는 것이 그 사람의 경쟁력을 드러낸다는 판단이다. [31:54]

19. 매장 경험과 AI 활용 능력이 비개발자의 상위권 성과로 계속된다

• CJ올리브영과 함께한 해커톤에서는 매장에서 약 2년 근무한 비개발 참가자가 상위권에 올랐다. 개발 측면에서도 완성도 있는 결과물을 만들었다. [33:20]
• 이 참가자는 화장품 쇼핑몰에서 사용자에게 무엇이 중요한지 이해하고 이를 설계에 반영했다. 도메인 지식과 뛰어난 AI 활용 능력이 높은 점수로 이어졌으며, 기존 채용 과정이라면 놓쳤을 인재라는 평가를 받았다. [33:57]

20. 참가자의 자기평가와 실제 결과가 맞아떨어진다

• 참가자들은 심사를 기다리는 동안에도 자리에 남아 AI 활용법과 과제 해결 방식을 토론했다. 서로 누가 잘 풀었는지 어느 정도 인지하고 있었고, 결과 공개 뒤에도 예상과 부합한다는 반응이 나왔다. [35:10]
• 상위 3명 가운데 최종 1등은 해결 방식에 관한 면접을 거쳐 선정했다. 개인 사정으로 먼저 떠난 참가자는 자신이 그 정도 순위는 아닐 것이라고 예상했고, 실제로 중하위권에 위치했다. [35:55]

21. 채용 담당자가 직접 문제를 풀며 AI 역량의 기준을 맞춘다

• 평가 도입의 출발점은 내부 구성원이 직접 문제를 풀어 보는 것이다. 기업과 HR 담당자는 AI를 잘 쓰는 사람을 채용하고 싶어도, 자신이 그 역량을 알아볼 수 있는지부터 확신하지 못하는 경우가 있다. [37:08]
• 평가 제공자와 고객사는 AI 역량을 무엇으로 볼지 먼저 합의해야 한다. 직접 문제를 풀며 자신의 부족한 부분과 좋은 수행에 필요한 능력을 확인하면 채용 기준을 구체화할 수 있다. [37:59]

22. AI 네이티브 역량은 기존 직무의 경계를 넓힌다

• 같은 기술 영역 안에서도 역할 확장이 필요하다는 관점이다. 프런트엔드 엔지니어라면 검색 기능 구현을 넘어 경험하지 못한 트래픽이나 익숙하지 않은 SDK·기술 스택도 다룰 수 있어야 한다. [38:51]
• 확장의 방향에는 프런트엔드에서 백엔드·데이터·AI까지 다루는 풀스택 역할, 제품과 솔루션의 의사결정에 참여하는 프로덕트 역할, HR·재무 등 비즈니스 기능으로의 확장이 포함된다. [39:29]

23. 내부 채용 성과를 바탕으로 공채와 비개발 직군 적용을 추진한다

• 프로브를 활용해 팀원을 채용한 사례에서는 평가 당시 확인한 AI 활용 능력이 입사 후 성과로도 이어졌다. 실제 업무에서도 잘 활약해 채용을 긍정적으로 평가하고 있다. [41:59]
• 크래프톤은 공채에 프로브를 활용할 예정이며, 비개발 직군까지 적용하는 것을 목표로 한다. 내부 회계팀에서도 직접 배포와 유지보수를 할 수 있게 되면 생산성이 높아질 것이라는 기대가 나온다. [42:20]

24. 여러 AI 세션을 병렬로 활용해 개인의 영향력을 키운다

• 개인이 미칠 수 있는 영향이 커지면서 스스로도 ‘10배’의 역량을 지향하고, 그런 사람과 함께 일하고 싶다는 목표를 갖는다. 팀 전체의 비즈니스와 수요를 보는 사람이 적은 상황에서는 많은 의사결정을 감당할 방법이 필요하다. [43:38]
• AI 세션을 동시에 다섯 개에서 여섯 개 돌리며 각각을 자신의 분신처럼 활용한다. 의사결정을 빠르게 하거나 운영 업무를 미리 수행하도록 필요한 환경을 설정하는 방식으로 일하려고 한다. [44:01]

25. 개발 생산성의 변화에 맞춰 일하는 방식도 계속 갱신한다

• 과거 네이버제트에서 모션 캡처 스튜디오를 만드는 데는 여섯 명에서 일곱 명이 약 1년을 썼지만, 크래프톤에서 비슷한 프로젝트를 수행할 때는 두 명이 3개월을 썼다. 이 차이를 커서의 도움으로 보여준다. [44:35]
• 같은 작업을 해 본 경험 덕분에 더 쉬웠던 측면도 인정한다. 동시에 AI 도구가 사람을 평가하는 기준과 회사의 업무 방식까지 크게 바꿀 수 있다고 느꼈다. [44:55]

26. AI 발전을 따라가는 기본기 위에 경험과 관계를 쌓는다

• AI에 일을 맡기기 쉬워지고 수행 가능한 영역도 넓어질수록 사람에게 남는 직업적 가치는 무엇인지 고민한다. 개인적인 결론으로는 경험과 관계가 남을 것이라고 본다. [45:45]
• 프로그램을 만들며 사업을 경험하거나 사람을 만나 새로운 기회를 만드는 일을 커리어에 어떻게 축적할지 더 신경 쓰려 한다. AI 발전을 따라가는 것은 기본이며, 엔지니어도 책과 개발에만 머물기 어려운 시대라는 판단이다. [46:07]

🧾 결론

• 이 사례는 현장 경험과 AI 활용 능력의 결합이 기존 채용 과정에서 놓치기 쉬운 인재를 드러낼 수 있음을 보여준다.
• 평가의 핵심은 무엇을 만들었는지에 더해, 어떤 문제를 풀었고 왜 그렇게 설계했으며 결과를 얼마나 이해하는지 확인하는 데 있다.
• AI를 활용하는 사람에게는 목적을 세우고, 필요한 맥락을 확보하고, 구현과 검증을 조율하는 주도성이 요구된다.
• 내부 채용에서는 평가 당시의 AI 활용 능력이 입사 후 성과로 이어졌다는 사례가 소개됐다. 공채와 비개발 직군으로의 확장은 향후 추진 방향으로 구분해 볼 필요가 있다.

📈 투자·시사 포인트

• 기업용 평가 솔루션: AI 활용 인재를 알아보려는 기업의 고민이 프로브의 출발점이다. 고객사와 평가 기준을 합의하고 실제 업무 성과와 연결하는 능력이 도입 판단의 핵심이다.
• 인적 자본: 현장 도메인 지식에 요구사항 탐색, AI 활용, 결과 검증 능력을 더하면 기존 직무의 경계를 넓힐 수 있다. 개인이 축적한 스킬과 작업 환경도 경쟁력으로 평가된다.
• 운영 경제성: 다수 에이전트를 활용하는 구조에서는 토큰 비용과 평가 품질을 함께 살펴야 한다. 개인 자동화 역시 초기 설정 시간과 이후 줄어드는 작업량·의사결정 부담을 비교필요가 있다.
• 사업 확장 확인: 공채 활용, 비개발 직군 적용, SK하이닉스 AI 해커톤 활용은 계획으로 소개됐다. 이 자료만으로 매출 규모나 수익성, 크래프톤의 기업가치 영향을 판단하기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• 매장 직원 출신 참가자의 정확한 순위, 세부 점수, 평가축별 기여도는 제시되지 않았다. 도메인 지식과 AI 활용 능력이 각각 성과에 얼마나 기여했는지도 분리해 확인할 수 없다.
• 우수한 지원자가 비용을 적게 썼다는 설명은 관찰 사례의 경향이다. 표본 규모와 과제 난도, 사용 모델 등의 조건이 없어 비용과 역량의 관계를 일반화하기 어렵다.
• 모델별 점수 순서와 참가자의 자기평가 일치는 평가 신뢰성을 뒷받침하는 정황으로 제시됐다. 반복 측정의 일관성, 직군별 공정성, 입사 후 성과 예측력에 관한 체계적 검증 결과는 제공되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 익숙한 현장 문제 하나를 골라 사용자 요구, 업무 목적, 제약 조건을 먼저 적고 AI로 구현할 범위를 정한다.
• 과제 수행 중 확인한 맥락, AI에 위임한 작업, 직접 내린 판단과 그 이유를 기록한다.
• 결과물의 작동 여부를 확인하고, 주요 설계 선택과 불필요한 복잡도를 자신의 말로 설명해 본다.
• 개인 스킬·공유 메모리·자동화 환경을 정리하고 초기 설정 시간, 반복 작업 절감량, 토큰 비용을 함께 점검한다.

❓ 열린 질문

• 현장 도메인 지식과 AI 활용 능력의 결합은 다른 산업과 비개발 직군에서도 일관되게 높은 업무 성과로 이어질까?
• 개인 스킬과 도구를 허용하면서 지원자 간 비교 가능성과 평가 공정성을 어떻게 확보할 수 있을까?
• 기술·의도·인지 평가 결과는 입사 후 성과와 얼마나 안정적으로 연결되며, 직군별로 평가 기준을 어떻게 조정해야 할까?