- AI 사용을 금지해도 대개 효과가 없습니다. 직원들은 개인 휴대폰으로 계속 쓰고, 회사는 그것을 볼 수 없습니다.
- 데이터는 종류마다 위험도가 다릅니다. 등급을 나눈 다음, 어느 등급을 어느 AI에 써도 되는지 정하십시오.
- 입찰 가격, 계약서, 고객 데이터처럼 기밀 문서가 많은 회사라면, 사람마다 가진 권한에 맞춰 문서를 읽는 사내 AI를 두어야 합니다.
누군가 AI 채팅에 데이터를 붙여 넣으면 무슨 일이 일어날까
구매 담당자가 비교를 도와 달라며 모든 공급업체의 가격표를 AI 채팅에 붙여 넣습니다. 인사팀 직원은 그래프를 만들려고 직원 명단과 급여를 붙여 넣습니다. 두 사람 모두 일을 빨리 끝내고 싶을 뿐이고, 그 데이터가 이미 회사 밖으로 나갔다는 사실은 회사의 누구도 모릅니다.
공개 AI 서비스에 붙여 넣은 글은 서비스 업체의 서버로 보내져 처리되고, 그 서비스의 정책에 따라 저장됩니다. 일부 개인 계정은 사용자가 직접 설정을 끄지 않으면 업체가 대화 내용을 모델 개선에 쓸 수 있게 되어 있습니다. 회사 쪽에는 누가 언제 무엇을 보냈는지 기록조차 없습니다. 그래서 고객이나 감사인이 물어도 회사는 답하지 못합니다.
2023년 5월, Samsung은 엔지니어들이 사내 소스 코드와 회의록을 ChatGPT에 붙여 넣은 사실을 확인한 뒤 회사 기기에서 공개 AI 도구를 쓰지 못하게 했습니다. 회사가 모르는 사이에 이루어지는 이런 AI 사용을 섀도 AI(Shadow AI)라고 하며, 직원이 휴대폰을 가진 회사라면 어디서나 일어납니다.
세 가지 선택지와 각각 치러야 할 대가
회사가 고를 수 있는 길은 세 가지입니다. 사용을 금지하거나, AI 업체의 기업용 플랜을 사거나, 자사 인프라에 모델을 설치하는 것입니다. 길마다 얻는 것과 드는 비용이 다르고, 대부분의 회사는 결국 두 가지 이상을 함께 씁니다.
| 선택지 | 얻는 것 | 치러야 할 대가 | 적합한 곳 |
|---|---|---|---|
| AI 사용 금지 | 투자 비용이 들지 않습니다. | 직원들이 개인 채널로 계속 쓰므로, 회사는 생산성도 잃고 사용 현황도 볼 수 없게 됩니다. | 법이나 계약으로 엄격히 금지된 일부 업무 |
| AI 업체의 기업용 플랜 | 시장에서 가장 뛰어난 모델, 데이터를 모델 학습에 쓰지 않는다고 명시한 계약, 직원 계정 관리 기능 | 데이터는 여전히 회사 밖에서 처리되므로, 이용 조건과 데이터 저장 위치를 확인해야 합니다. | 데이터 저장 위치에 제약이 없는 대부분의 회사 |
| 온프레미스 또는 프라이빗 클라우드의 프라이빗 LLM | 데이터가 회사 인프라 안에 머물고, 권한과 사용 기록을 직접 관리할 수 있습니다. | 장비 비용과 유지 관리 비용이 들고, 직접 운영하는 모델은 대개 대형 업체의 최신 모델보다 성능이 뒤처집니다. | 계약상 기밀 데이터나 민감정보를 다루거나, 고객사와 규제 기관의 요구 사항이 있는 조직 |
흔한 오해는 모델을 사내에 설치하기만 하면 데이터가 저절로 안전해진다는 생각입니다. 사내 AI가 모든 폴더의 문서를 읽을 수 있다면, 인턴도 경영진의 급여를 물어볼 수 있습니다. 위험이 회사 밖으로 새는 것에서 부서 사이로 새는 것으로 옮겨 갈 뿐입니다. 그래서 사내 AI는 질문하는 사람이 볼 권한이 있는 문서만 보아야 합니다.
가상 사례
입찰 제안서 초안이 AI 채팅으로 흘러간 엔지니어링 컨설팅 회사
직원 120명 규모의 한 엔지니어링 컨설팅 회사는 정기적으로 입찰에 참여합니다. 어느 날 엔지니어 한 명이 단가가 들어 있는 제안서 초안을 공개 AI 채팅에 붙여 넣고 문장을 다듬어 달라고 했습니다. 지나가던 팀장이 우연히 그 화면을 보았습니다. 이 일이 경영진에게 보고되자 첫 질문은 이런 일이 지금까지 몇 번이나 있었느냐였는데, 아무도 답하지 못했습니다.
경영진은 금지하지 않기로 했습니다. 입찰팀이 써야 할 문서가 많고, AI가 실제로 도움이 된다는 것을 알았기 때문입니다. 회사는 아래 방법으로 데이터를 네 등급으로 나누고, 내부 등급 업무에는 기업용 플랜을 사고, 기밀 등급에는 사내 어시스턴트를 만들었습니다. 이 어시스턴트는 과거 제안서, 업무 기준, 계약서를 검색하되, 질문한 사람이 열 권한이 있는 폴더의 문서만 보여 줍니다. 회사는 먼저 입찰 부서 한 곳에서만 시범 운영을 했습니다.
데이터를 네 등급으로 나누기
- 공개 등급은 이미 회사 웹사이트에 올라 있는 정보입니다. 어떤 AI에 써도 됩니다.
- 내부 등급은 매뉴얼, 업무 절차, 일반 회의록입니다. 회사가 기업용 계약을 맺은 AI에 쓸 수 있습니다.
- 기밀 등급은 가격, 원가, 계약서, 고객 데이터입니다. 권한을 통제하고 사용 기록을 남기는 사내 AI에만 쓸 수 있습니다.
- 제한 등급은 건강 정보, 개인별 급여, 계약상 공개가 금지된 문서입니다. 데이터 책임자와 법률 자문가가 건별로 승인하기 전에는 어떤 AI에도 넣지 않습니다.
운영은 부서장마다 팀이 가장 자주 쓰는 문서 열 종류를 골라 등급을 매기는 데서 시작합니다. 폴더에 등급 라벨을 붙이고, 그 부서의 실제 업무에서 가져온 예시로 직원들을 교육합니다. 남겨 둘 근거는 문서 종류별 등급 목록과 아직 분류하지 않은 문서의 수입니다. 이 방법은 두 가지 경우에 실패합니다. 하나는 등급을 너무 잘게 나눠서 직원들이 기억하지 못하는 경우입니다. 다른 하나는 기밀 등급만 정해 두고 그 등급에 쓰도록 허용한 AI를 마련하지 않는 경우로, 이때 직원들은 예전처럼 공개 AI로 돌아갑니다.
사내 AI 어시스턴트를 믿고 쓰려면 무엇이 필요할까
문서를 바탕으로 답하는 챗봇은 바이브 코딩으로 하루면 만듭니다. 시간이 드는 부분은 사람마다 그 사람의 권한에 맞춰 답하고, 원본 문서를 출처로 밝히고, 나중에 되짚어 볼 수 있게 기록을 남기도록 만드는 일입니다. 법무팀과 IT팀은 이 세 가지가 갖춰져야 사용을 허락합니다.
권한은 회사가 이미 쓰고 있는 직원 계정 시스템과 연결해야 합니다. 직원은 SSO로 다른 시스템과 같은 계정을 써서 로그인하고, 어시스턴트는 그 계정이 열 수 있는 문서만 검색합니다. 직원이 부서를 옮기거나 퇴사하면 어시스턴트에서의 권한도 즉시 바뀝니다.
모든 답변에는 근거로 쓴 문서를 붙여야 합니다. 그러면 질문한 사람이 원본을 열어 보고 답이 어느 버전에서 나왔는지 알 수 있습니다. 이렇게 문서를 먼저 검색한 다음 모델이 답하게 하는 방식을 RAG(검색 증강 생성)라고 합니다. 문서가 수정되면 모델을 다시 학습시키지 않아도 답이 따라 바뀐다는 장점도 있습니다.
회사가 정해야 할 것이 두 가지 더 있습니다. 대화 내용을 얼마 동안 보관할지, 사용 기록은 누가 볼 수 있는지입니다. 문서에 고객의 개인정보가 들어 있다면, 그 데이터를 외부 업체에 보내 처리하는 일은 태국 개인정보보호법(PDPA)의 적용 범위에 들어갑니다. 회사는 업체와 데이터 처리 계약을 맺고, 사용을 시작하기 전에 법률 자문가나 개인정보 보호 책임자(DPO)의 검토를 받아야 합니다.
개발팀 참고 · 기술 세부 사항
Vector Search 단계에서부터 권한에 따라 검색 결과를 걸러 내도록, 문서마다 Embedding과 함께 ACL을 저장합니다. 계정은 SSO로 연결하고 사용자 그룹을 자동으로 동기화합니다. 질문, 가져온 문서, 답변을 Audit Log에 기록합니다. Model Routing으로 기밀 등급은 사내 모델을, 내부 등급은 업체의 모델을 쓰게 합니다. 회사 밖으로 보내기 전에 PII를 가리고, 부서별 실제 질문으로 만든 Evaluation Set으로 정확도와 출처 표시를 측정합니다.
다음에 해당하면 아직 프라이빗 LLM에 투자하지 않아도 됩니다
- 회사 데이터 대부분이 공개 등급과 내부 등급에 속합니다.
- 데이터 저장 위치를 정한 계약이나 요구 사항이 없습니다.
- 장비와 모델을 관리할 사람이 아직 팀에 없습니다.
이런 회사는 기업용 플랜과 데이터 등급 정책을 함께 운영하면 충분합니다. 기밀 등급 업무가 많아지기 시작하면 그 부분에만 사내 어시스턴트를 추가하십시오.
시범 운영 기간에는 네 가지를 재십시오. 회사가 승인한 AI를 쓰는 직원의 비율, 주당 질문 수, 올바른 버전의 문서를 출처로 단 답변의 비율, 기밀 등급 데이터가 회사 밖으로 나간 것이 발견된 횟수입니다. 석 달이 지나도 직원들이 기밀 업무에 공개 AI를 쓰고 있다면, 사내 어시스턴트가 아직 실제 업무를 제대로 받쳐 주지 못한다는 뜻입니다. 다른 부서로 넓히기 전에 답변 품질부터 고치십시오.
문서는 회사 안에 그대로 두고, 팀은 그 문서로 AI를 씁니다
회사의 권한 구조는 IT팀이 압니다. 어떤 데이터에 제약이 있는지는 법률 자문가와 개인정보 보호 책임자가 판단하고, 어느 문서가 기밀인지는 각 부서장이 압니다. DNA Maker는 이 세 그룹과 워크숍을 열어 데이터 등급을 나누고, 문서가 어디에 있는지, 누가 열 수 있는지, 직원들이 그 문서에서 무엇을 묻고 싶어 하는지 지도로 정리합니다.
그런 다음 저희는 고객사 인프라나 프라이빗 클라우드에 언어 모델을 설치하고, 사내 문서를 검색해 출처와 함께 답하는 어시스턴트를 만듭니다. 이 어시스턴트는 질문한 사람의 권한에 따라 결과를 거르고, 감사 로그를 남기며, 사용을 시작하기 전에 답변 품질 평가를 통과해야 합니다. 작업은 한 부서의 시범 운영으로 시작해, 사람들이 실제로 쓰는지와 얼마나 정확히 답하는지 잰 뒤에 넓힙니다. 회사에 어떤 선택지가 맞는지 아직 확신이 없다면, 직원들이 AI의 도움을 가장 자주 받는 문서 종류의 목록을 가지고 이야기해 보십시오. 등급을 나누고 어느 부분에 사내 시스템이 필요한지 짚어 드립니다.
SOFTWARE ENGINEERING GLOSSARY
소프트웨어 엔지니어링 용어집
경영진, IT팀, 법무팀이 회사 데이터에 AI를 어떻게 쓸지 합의할 때 쓰는 용어입니다.
| 용어 | 의미 | 쉬운 예시 | 개발팀에 물어봐야 할 질문 |
|---|---|---|---|
| Private LLM | 회사가 직접 관리하는 인프라에서 돌아가서, 입력한 데이터가 외부 업체로 나가지 않는 언어 모델 | 계약서 검색 어시스턴트가 회사 자체 서버실의 장비에서 돌아갑니다. | 장비 비용과 연간 유지 관리 비용은 얼마이고, 답변 품질은 외부 서비스와 얼마나 차이가 납니까? |
| On-premise | 클라우드를 빌려 쓰는 대신, 회사 사업장에 있는 장비에 시스템을 설치하는 방식 | 모델을 돌리는 서버가 본사 서버실에 있습니다. | 장비 관리와 시스템 업데이트는 누가 하고, 장비가 고장 나면 누가 책임집니까? |
| Data Classification | 데이터를 민감도에 따라 등급으로 나누고, 등급마다 어떻게 저장하고 보내고 쓸 수 있는지 정하는 일 | 원가표를 기밀 등급으로 분류했으므로 사내 AI에만 쓸 수 있습니다. | 아직 등급이 없는 문서 종류는 무엇이고, 애매할 때는 누가 결정합니까? |
| Shadow AI | 회사가 승인하지 않았고 파악하지도 못하는 AI 도구를 직원이 쓰는 일 | 직원이 개인 휴대폰으로 계약서를 찍어 AI 앱에 요약을 시킵니다. | 지금 직원들이 어떤 AI를 어떤 업무에 쓰고 있는지 어떻게 알 수 있습니까? |
| DLP | 중요한 데이터가 회사 밖으로 나가는 것을 감지하고 막는 도구(Data Loss Prevention의 약자) | 누군가 신분증 번호를 대량으로 외부 웹사이트에 붙여 넣으면 시스템이 경고합니다. | 설정한 규칙이 어느 등급의 데이터까지 다루고, 잘못된 경고는 얼마나 자주 나옵니까? |
| Data Residency | 데이터를 어느 나라나 지역에서 저장하고 처리해야 하는지 정한 요건 | 고객과의 계약서에 프로젝트 데이터는 태국 안에 있는 장비에 두어야 한다고 적혀 있습니다. | 우리 데이터는 AI에 보낼 때를 포함해 어느 나라에서 처리됩니까? |
| SSO | 회사 계정으로 한 번 로그인하면 여러 시스템에 들어갈 수 있게 하는 방식(Single Sign-On의 약자) | 직원이 회사 이메일 계정으로 AI 어시스턴트에 들어가고, 퇴사하면 모든 시스템의 권한이 한꺼번에 막힙니다. | 직원이 부서를 옮기면 어시스턴트의 권한은 얼마 만에 바뀝니까? |