GPT, 실무에 담은 기록

GPT를 조직에 붙일 사람 – 그 최소 조건을 정리해본다

gtpmore 2025. 5. 27. 16:44

1. 도입보다 중요한 건, 연결할 사람이다

이 글은 AI 오케스트레이터에게 필요한 최소 조건을 구조적 관점에서 개인적인 의견을 정리한 것이다.
GPT를 실무에 붙여가며 반복해서 느낀 건,  도입이나 기술의 문제가 아니라, 그걸 제대로 연결하고 구조를 설계할 수 있는 사람이 있느냐의 문제라는 점이었다.


2. 조직 안에서 GPT가 작동하려면, 연결하는 사람이 필요하다

GPT를 조직에 도입하면, 단순히 챗봇을 붙이는 수준을 넘어선다.
요약, 검색, 추천, 분석 등 여러 기능을 연결해야 하고,
내부 시스템, 데이터 흐름, 사람들의 업무 방식까지 모두 함께 엮여야 한다.

그래서 이걸 단순한 기술 적용이 아니라, '조율'에 가깝다고 보는 이유다.
요즘 이 역할을 ‘AI 오케스트레이터’라 부르는데, 실제로 해보면 그 표현이 과장이 아니라는 걸 알게 된다.

한두 개 툴을 쓰는 게 아니라, 여러 시스템을 조립하고 부서 간 협업을 이끌어내야 하기 때문이다.
API 흐름, 프롬프트 설계, 임베딩 DB, 사내 권한 체계까지—생각보다 범위가 넓고 복잡하다.

그렇기 때문에 이 역할은 단순한 개발자나 기획자의 연장선이 아니다.
기술과 실무 사이의 연결 구조를 설계할 수 있는, 조금 다른 감각을 가진 사람이 필요하다.

이 글은, 그런 사람을 조직 안에서 찾거나 키워야 한다면
최소한 어떤 조건은 갖춰야 할지를 나름대로 정리한 기록이다


3. 조건 ① 구조적 사고 – 흐름을 설계하는 감각

GPT는 기술이 아니라 구조다. 이걸 어디에, 어떻게 연결할 수 있는지 판단할 수 있어야 한다.

GPT를 제대로 붙이려면, 먼저 일의 구조를 볼 줄 알아야 한다.
GPT가 할 수 있는 일과 사람이 개입해야 할 일을 구분하고, 그 사이를 흐름으로 연결하는 감각이 필요하다.

질문 하나만 잘 만든다고 끝나는 게 아니다.
데이터 수집 → 가공 → 질문 생성 → GPT 응답 → 현업 해석 → 전달 및 액션
이 중 하나라도 빠지면, GPT는 연결되지 않고 떠다니게 된다.

써보면 알게 된다.
GPT는 묻는다고 답해주는 도구가 아니다.
어디에, 왜, 무엇을 붙이는가를 묻는 기술이다.


4. 조건 ② 프롬프트 감각 – 질문을 설계할 수 있는 사람

질문을 잘 쓰는 게 아니다. 의미를 다시 구성하고, 흐름을 설계하는 감각이 필요하다.

GPT에게 어떤 문장을 던지느냐보다,
무엇을 물어야 할지를 판단하는 사고가 훨씬 중요하다.
이건 단순히 언어 감각이 아니라,
업무 맥락을 이해하고 논리적으로 해체하는 능력이다.

이 감각은 단순히 프롬프트 툴을 몇 번 사용한다고 생기지 않는다.
일을 겪고, 실패하고, 다시 묻고, 그렇게 반복한 사람에게만 생긴다.


5. 조건 ③ 해석 조율자 – 사람과 사람 사이의 'GPT 해석 차이'를 통합하는 능력

GPT를 아는 사람보다, GPT를 다르게 이해하는 사람들을 하나의 흐름으로 묶을 수 있는 사람이 필요하다.

GPT가 조직에 들어오면,
사람마다 이 기술을 이해하는 방식과 기대하는 효과가 완전히 다르다.

각 부서는 서로 다른 기대를 갖는다.
기획자는 자동화를, 운영팀은 반복 업무 축소를, 개발자는 불확실성을 본다.
같은 도구를 보고도 다르게 해석한다.

이제 오케스트레이터는 단순한 전달자가 아니다.
각 직군이 가지고 있는 기대와 언어를 설계 언어로 바꾸고,
그걸 하나의 실행 구조로 통합할 수 있어야 한다.

이건 '커뮤니케이션 능력'이 아니라 해석 차이를 구조화해 정리할 수 있는 감각이다.


6. 조건 ④ 기술 개념 이해 – 사람과 기술 사이의 간극을 메울 '정확한 개념 기반'

GPT는 말은 자연스럽지만 구조는 복잡하다. 이걸 흐름 안에 정확히 번역할 수 있는 사람이 필요하다.

GPT는 유창하게 말하지만, 그만큼 착각을 일으키기도 쉽다.
그래서 이 기술은,
‘몰라도 되는 것’보다 ‘잘못 아는 것이 더 위험한 것’이 된다.

오케스트레이터는 코어 개발자가 될 필요는 없다.
하지만 LLM, 임베딩, 벡터 검색, 토큰화, RAG 구조 정도는 정확히 알고 있어야 한다.

기술을 모르면 연결이 안 된다.
기술을 오해하면, 연결된 것처럼 보여도 실제로는 조직 전체의 흐름을 어긋나게 만든다.

GPT는 기술에 대한 정확한 이해 위에서만 작동한다.


7. 조건 ⑤ 데이터 literacy – AI까지 연결되는 구조적 직관이 있어야 한다

수치나 리포트를 읽는 게 아니라, 데이터 구조를 감각적으로 파악하고 AI 구조로 확장할 수 있어야 한다.

데이터 리터러시는 수치를 읽는 능력이나 대시보드 해석 수준을 넘어서야 한다.
GPT처럼 의미 기반의 AI를 조직에 붙이려면, 데이터가 어떻게 흐르고, 어디에 구조적으로 결핍이 있는지를 판단할 수 있어야 한다.

내 경우엔 데이터를 ‘거리’라는 감각으로 이해해 왔다.수치보다 관계, 분류보다 유사도, 구조 간의 간격. 그걸 반복해서 판단하다 보니, 어느새 AI까지도 구조로 연결해서 이해할 수 있었다.

꼭 ‘거리’ 일 필요는 없다. 하지만 그 사람만의 직관이 데이터 전체를 꿰뚫고, 그 감각이 AI 구조까지 확장될 수 있어야 한다.

그게 진짜 데이터 리터러시다.
GPT는 단순 숫자 해석이 아니라, 의미 간격을 이해하는 감각 위에서 작동한다.
그 감각을 갖춘 사람이 아니라면, 조직 안에서 GPT는 단지 도구에 머무르게 된다.


8. 조직 규모별 오케스트레이터 전략 – 현실적으로 누구를 세울 것인가

조직의 규모에 따라 이 역할을 세우는 방식은 달라진다.
오케스트레이터는 직무가 아니라 역할이므로, 조직마다 어떤 기준으로 누구에게 맡길지를 먼저 판단해야 한다.

🔹 스타트업 (10~30명)

기술 감각이 있는 대표나 공동 창업자가 직접 맡는 것이 가장 현실적이다.
문제를 정의하고 구조를 이해할 수 있는 사람 한 명이면 시작할 수 있다.

🔹 중소기업 / 시리즈 A~B

데이터팀은 있을 수 있지만, 여전히 구조를 설계할 사람은 부족하다.
기술에 친숙한 실무자 + PM 경험자 조합이 이상적이다.

🔹 대기업

복잡한 조직 내 이해관계가 오히려 가장 큰 장애물이다.
내부 인물이 아니어도, 이 역할만큼은 분리해 따로 세워야 한다.
그리고 기존 조직과 분리해 독립적으로 움직일 수 있어야 한다.


9. 마무리 – 도입은 흐름이다, 그래서 최소 조건이 중요하다

지금의 LLM 기반 생성형 AI는 ROI만 놓고 보면 여전히 복잡한 선택일 수 있다.
하지만 기술 흐름 전체를 보면, 이건 일시적인 유행이 아니라 구조적 전환에 가깝다.

단순히 뒤처지지 않기 위해서가 아니다. 일하는 방식이 바뀌고 있으며, 생산성 격차는 계속 벌어지고 있다. 그래서 조직은 결국 AI를 도입하게 된다. 그리고 그 과정에서 대부분 부딪힌다. 기존 방식대로 접근하면, 어디에 어떻게 붙여야 할지 판단조차 서지 않는다.

직접 써보고, 조직에 붙여보고, 실무와 기술 사이를 넘나들며 확신하게 된 건 하나였다. 이건 누구나 할 수 있는 일이 아니다. 단순한 툴 사용이 아니라, 구조를 보고, 맥락을 판단하고, 흐름을 설계할 줄 아는 사람이 필요하다.

GPT를 도입하겠다면,
그전에 이 조건을 갖춘 사람이 조직에 있는지부터 확인하는 게 먼저다.