사내 챗 어시스턴트
자사 서버 위의 자사 전용 ChatGPT.
프라이빗 LLM 사내 AI, 데이터는 내부에
자사 인프라에 배포하고 내부 문서로 학습하는 언어 모델. PDPA를 준수하며, 데이터 유출 없이 ChatGPT급 답변을 제공합니다.
엔지니어와 상담무엇을 만들어 드리나
클라우드만큼 똑똑하되 데이터는 사내에 남는 사내 AI.
사내 문서 검색
일상어 질문에 출처와 함께 답변.
시스템용 API
사내 시스템이 안전하게 AI 호출.
기능과 역량
모델 선택 가능
Llama·Qwen 등 예산과 언어로 선정.
데이터 유출 제로
외부 API 호출 일절 없음.
역할 기반 권한
조직 구조에 맞춘 열람 제어.
쿼리별 감사 로그
전체 사용 기록 상시 확인.
자사 업무로 파인튜닝
귀사 도메인에서 더 똑똑하게.
SSO / Active Directory
기존 사내 계정으로 로그인.
데이터를 외부로 내보낼 수 없는 팀과 업종
데이터를 밖으로 내보낼 수 없는 이유는 팀과 업종마다 다릅니다. 각각에 설치하는 시스템을 정리했습니다.
계약 업무용 프라이빗 LLM
“법무팀은 AI의 도움을 받아 계약서를 검토하고 싶어 하는데, 계약서마다 거래처 정보가 들어 있어서 공개 도구에 붙여 넣으면 사내 정책 위반입니다.”
구축 내용- PDF나 Word로 올린 계약서를 읽는 언어 모델(회사 서버 또는 회사 클라우드 계정에 설치)
- 모든 조항을 회사 표준 템플릿과 대조해 다른 조항을 강조 표시하고 무엇이 다른지 설명
- 지급 조건, 위약금, 계약 해지, 관할 법원 등 주제별로 나눈 알기 쉬운 위험 요약
- "경업 금지 기간이 2년을 넘는 계약서는?"처럼 평소 말로 묻는 계약서 보관함 전체 검색(해당 페이지 표시)
- 누가 어떤 계약서를 열어 무엇을 언제 물었는지 남기는 컴플라이언스팀용 감사 로그
연동 시스템Microsoft 365 · SharePoint · Google Workspace · Active Directory · 문서 관리 시스템 · DocuSign
프라이빗 LLM 기반 HR 어시스턴트
“급여, 인사 평가, 직원 이력이 전부 태국 개인정보보호법(PDPA)상 개인정보라서 인사 업무에는 AI를 쓸 엄두도 못 내고 있습니다.”
구축 내용- 직원 핸드북, 사내 규정, 공지를 근거로 직원 질문에 답하는 사내 채팅 어시스턴트(근거 조항 표시)
- 역할별 권한: 직원은 본인 정보만, 팀장은 자기 팀만, 인사팀은 정해진 범위만 열람
- 인사팀이 쓸 공지문, 재직·급여 증명서, 복리후생 답변 초안을 HRIS의 실제 데이터로 작성
- 직원 이력, 휴가, 평가 결과를 평소 말로 검색하고 열람할 때마다 시스템에 기록
- 누가 누구의 정보를 언제 물었는지 DPO가 확인할 수 있는 PDPA 대응 감사 로그
연동 시스템SAP SuccessFactors · HRIS · Microsoft 365 · Google Workspace · LINE OA · Active Directory
재무 문서용 프라이빗 LLM
“공시 전 재무제표 숫자와 예산안은 한 줄도 새어 나가면 안 됩니다. 그런데 100쪽씩 되는 문서 요약은 아직도 팀이 직접 하고 있습니다.”
구축 내용- 재무제표, 감사보고서, 대출 계약서를 한 장으로 요약하는 사내 네트워크용 모델
- "재무약정(Covenant) 중 위반에 가까운 조항은?"처럼 여러 문서에 한꺼번에 묻는 질의응답(페이지·표 근거 포함)
- 재무제표 주석, 경영진 보고 메모, 감사인 회신을 시스템 데이터로 쓴 초안(팀이 이어서 수정)
- 예산과 ERP 실적을 비교해 계획에서 벗어난 항목을 짚고 문서에서 찾은 설명을 첨부
- 결산 기간별 권한: 공시 전 데이터는 명단에 있는 사람만 열람, 모든 질문에 감사 로그
연동 시스템SAP · Oracle · Microsoft Dynamics 365 · Microsoft 365 · SharePoint · Active Directory
엔지니어링 지식용 프라이빗 LLM
“도면, 배합표, 소스 코드는 회사에서 가장 값진 자산입니다. 남의 클라우드에 올렸다가 그쪽 모델 학습에 쓰이지 않는다고 누가 보장해 줍니까?”
구축 내용- 사내 설비 매뉴얼, 도면, 수리 보고서, 실험 문서에서 찾아 답하는 모델(원문 근거 표시)
- 소스 코드를 읽고 어떤 모듈이 무슨 일을 하는지 답하며, 코드를 네트워크 밖으로 내보내지 않고 초안을 짜 주는 개발팀용 어시스턴트
- 팀이 쓰는 전문 용어, 부품 코드, 단위에 맞춘 조정(부품 별칭으로 입력해도 검색 가능)
- 외부 인터넷 연결 없이 공장 네트워크의 태블릿으로 현장에서 사용
- 은퇴를 앞둔 베테랑 엔지니어의 인터뷰 녹취와 수리 기록을 검색 가능한 보관소로 정리
연동 시스템ERP · CMMS · PLM · GitLab · 파일 서버 · SharePoint · Active Directory
프라이빗 LLM 기반 고객 응대 어시스턴트
“고객과 나누는 대화마다 진료 기록, 계좌 정보, 신분증 번호가 들어 있습니다. 공개 AI로 답변을 돕게 하면 그때마다 고객 정보를 밖으로 보내는 셈입니다.”
구축 내용- CRM과 과거 티켓에서 고객 이력을 읽어 답변 초안을 만들고, 직원은 전송 버튼만 누르면 되는 컨택센터 화면 속 어시스턴트
- 전화를 받기 전에 읽을 수 있도록 이 고객과 나눈 지난 대화를 회사 시스템 안에서 요약
- 신분증 번호, 계좌 번호, 건강 정보 자동 마스킹, 직원에게는 권한이 허용하는 부분만 표시
- 내부 매뉴얼의 정책, 상품 조건, 문제 해결 절차 검색(답변 근거 조항 표시)
- 어느 직원이 어느 고객의 이력을 열었고 어떤 초안을 고쳐 보냈는지 남기는 DPO용 감사 로그
연동 시스템Salesforce · Zendesk · Freshdesk · LINE OA · Genesys · Active Directory
경영진과 이사회를 위한 프라이빗 LLM
“이사회 보고서, 인수합병 계획, 아직 공시하지 않은 사안까지 경영진은 AI로 요약하고 싶어 합니다. 그런데 믿고 맡길 만한 도구가 없습니다.”
구축 내용- 회사 인프라 위의 경영진 어시스턴트, 수백 쪽짜리 이사회 자료를 결정할 안건 중심으로 요약
- 경영진의 이메일·캘린더와 연결해 첨부 문서와 지난 회의의 미결 사항으로 회의 전 브리핑 준비
- 이사회 메모, 주주 서한, 애널리스트 질문 답변을 내부 데이터로 쓴 초안(이사회 사무국이 이어서 수정)
- 계열사 간, 문서 묶음 간 데이터 분리, 인수합병 자료는 명단에 있는 사람만 열람
- 모든 접근 기록, 공시 전에 누가 어떤 문서를 열었는지 컴플라이언스팀이 확인 가능
연동 시스템Microsoft 365 · Google Workspace · 이사회 포털 · SharePoint · Active Directory · 프라이빗 클라우드
금융기관용 프라이빗 LLM
“직원들이 빠르다는 이유로 몰래 ChatGPT로 고객 문서를 요약합니다. 준법감시부가 알면 금지할 수밖에 없고, 그러면 모두 다시 손으로 일합니다.”
구축 내용- 공개 도구처럼 문서를 요약, 검색, 초안 작성하는 은행 데이터센터 내 모델
- 조직 구조에 따른 권한과 준법감시부가 모든 질문을 확인할 수 있는 감사 로그
- 모의 해킹 검증과 내부·외부 감사인용 문서
- 차주의 재무제표와 서류를 한 장으로 요약하고 추가로 확인할 부분을 짚는 여신팀용 어시스턴트
- 지점과 콜센터가 평소 말로 찾는 감독 기관 고시, 내규, 업무 매뉴얼 검색
연동 시스템Active Directory · 코어뱅킹 시스템 · 여신 심사 시스템(LOS) · SharePoint · Kubernetes · Microsoft 365
의료 데이터용 프라이빗 LLM
“의사들은 진료 전에 AI가 환자 이력을 요약해 주길 바라지만, 의료 데이터는 법적으로 병원 밖으로 보낼 수 없습니다.”
구축 내용- 의무기록을 요약하고 원내 진료 지침을 찾는 병원 시스템 내 모델
- 역할별 권한: 의사는 담당 환자만, 간호사와 의무기록팀은 업무 범위만 열람
- PDPA와 의료 데이터 규정에 맞춰 병원 법무팀과 함께 설계
- HIS 데이터로 쓴 진료 요약서, 진료 의뢰서, 보험 청구 서류 초안(의사가 검토하고 서명)
- 약물 알레르기 이력, 과거 검사 결과, 복용 중인 약을 평소 말로 검색(HIS의 날짜와 항목 근거 표시)
연동 시스템HIS · 의무기록 시스템 · LIS · PACS · Active Directory · Microsoft 365
의뢰인 기밀 문서용 프라이빗 LLM
“저희 일은 처음부터 끝까지 의뢰인의 기밀 문서입니다. AI로 계약서를 읽으려면 데이터가 어디로 가는지 의뢰인에게 설명할 수 있어야 합니다.”
구축 내용- 로펌 문서 보관소에서 계약서를 검색, 비교, 초안 작성하는 로펌 서버 내 모델
- 의뢰인·사건별 데이터 분리, 다른 사건의 문서는 검색 불가, 이해 상충 사안은 차단
- 누가 언제 자기 문서를 열었는지 의뢰인에게 보여 줄 수 있는 사용 기록
- 판결문, 과거 계약서, 회의록을 쟁점별로 정리한 변호사 의견서 준비용 요약(페이지 근거 포함)
- 로펌의 템플릿과 과거 작업으로 쓴 계약서와 법률 의견서의 첫 초안(변호사가 이어서 수정)
연동 시스템문서 관리 시스템 · iManage · NetDocuments · Microsoft 365 · Active Directory
통신사용 프라이빗 LLM
“콜센터 통화가 하루 수만 건이고, 네트워크 티켓은 기사마다 쓰는 방식이 다릅니다. AI로 요약하고 싶어도 가입자 데이터는 사업 면허 조건과 PDPA 때문에 밖으로 보낼 수 없습니다.”
구축 내용- 콜센터의 모든 통화를 통화 이유, 처리 결과, 미결 사항으로 요약하는 통신사 데이터센터 내 모델
- 권한 범위 안에서 회선의 프로모션, 미납액, 사용 이력을 읽고 답변 초안을 쓰는 상담원 화면 속 어시스턴트
- 과거 네트워크 티켓과 장애 보고서를 평소 말로 검색해 NOC가 이미 해결한 같은 장애를 찾도록 지원
- 민원을 매일 묶어 분류하고 통화가 비정상적으로 늘어난 지역을 네트워크팀과 서비스팀에 알림
- 권한 등급에 따른 신분증 번호와 개인 사용 정보 마스킹, 모든 질문에 감사 로그
연동 시스템빌링 시스템 · CRM · Genesys · ServiceNow · Active Directory · Kubernetes
핵심 기반시설용 프라이빗 LLM
“운전 데이터, 정비 계획, 계통도는 정책상 폐쇄망 밖으로 나갈 수 없는 핵심 기반시설 정보입니다. 그래서 팀은 아직도 종이 파일철에서 매뉴얼을 찾습니다.”
구축 내용- 인터넷 연결 없이 동작하는 회사 폐쇄망 설치
- 매뉴얼, 표준, 과거 사고 보고서를 평소 말로 검색(원문 근거 표시)
- 사업장·지역별 권한과 사이버 보안 기준에 따른 사용 기록
- 현장 기록과 CMMS 데이터로 쓴 사고 보고서와 정비 작업 지시서 초안(교대 책임자가 검토)
- Historian의 운전 데이터에 묻는 질의응답, 예를 들어 지난번 이상값이 언제 나왔고 어떻게 해결했는지
연동 시스템Active Directory · CMMS · SCADA Historian · 파일 서버 · SAP PM · SharePoint
보상·언더라이팅 업무용 프라이빗 LLM
“청구 한 건에 진단서, 영수증, 진료 기록이 열 장씩 붙어 오는데 직원이 매번 직접 읽습니다. AI를 쓰려 해도 고객의 건강 정보라서 밖으로 보낼 수가 없습니다.”
구축 내용- 스캔한 진단서, 영수증, 진료 기록을 읽고 청구 건을 한 장으로 요약하는 회사 시스템 내 모델
- 청구 항목을 약관과 보장 내역표에 대조해 보장 범위 밖 항목이나 누락 서류 표시
- 청약서와 건강검진 결과로 건강 이력을 요약하고 의사에게 추가로 물어볼 부분을 짚는 언더라이팅 어시스턴트
- 과거에 이상으로 확인된 건과 패턴이 비슷한 청구를 짚어 조사팀이 먼저 보도록 전달
- 역할별 권한: 건강 정보는 해당 건 담당자만 열람, PDPA에 따른 모든 접근 감사 로그
연동 시스템보험 코어 시스템 · 보험금 청구 시스템 · Microsoft 365 · Active Directory · LINE OA · SharePoint
진행 방식
01
인프라·모델 적합성
예산과 부하에 맞춰 사이징.
02
배포와 인덱싱
시스템 구축, 문서 연결, 보안 설정.
03
강화와 교육
침투 테스트, 팀 교육, 운영 문서와 함께 인도.
사용 중인 도구와 연동
기존 인증 체계·문서 저장소와 연동해 동작합니다.
LlamaQwenvLLMOllamaLangChainElasticsearchActive DirectoryKubernetes
개발 프로세스
- 1
탐색
요구사항·사용자·성공 지표 정의, 착수 전 범위와 가격 확정.
- 2
설계
UX와 아키텍처 설계, 프로토타입 승인 후 개발 시작.
- 3
개발
AI로 가속한 스프린트, 매주 데모, 시니어가 리뷰.
- 4
테스트
합의된 범위 기준으로 QA·보안·성능 검증.
- 5
출시 및 유지보수
운영 배포, 팀 교육, 월간 유지보수 플랜.
