사내 문서를 기반으로 질문에 답하는 AI를 도입하면 업무 편의성이 크게 높아질 수 있습니다.
직원이 매번 규정집이나 매뉴얼을 직접 찾지 않아도 되고, 여러 폴더에 흩어진 문서를 검색한 뒤 내용을 비교하는 시간도 줄일 수 있습니다.
예를 들어 직원이 다음과 같이 질문할 수 있습니다.
- 출장비 정산 기준이 어떻게 되나요?
- 신규 거래처 등록 절차를 알려주세요.
- 이 제품의 최신 매뉴얼은 무엇인가요?
- 휴가 신청은 언제까지 해야 하나요?
- 계약 검토 요청은 어떤 양식으로 제출하나요?
AI가 사내 문서를 검색해 관련 내용을 찾아 답변하면 직원 입장에서는 훨씬 편리합니다.
하지만 실제로 이런 시스템을 운영하려고 하면 곧바로 새로운 문제가 생깁니다.
문서가 오래된 경우에는 어떤 답변을 해야 하는지, 같은 내용의 문서가 여러 버전으로 존재하면 어떤 문서를 우선해야 하는지, 특정 부서만 볼 수 있는 문서를 다른 직원이 질문했을 때 어떻게 막을 것인지 등을 정해야 합니다.
따라서 사내 문서 기반 AI는 단순히 문서를 AI에 연결하는 것만으로 끝나지 않습니다.
최신 문서 구분, 사용자별 접근 권한, 답변 출처 표시, 답변 가능한 범위와 답변하지 않아야 하는 조건까지 함께 설계해야 실제 업무에서 안정적으로 사용할 수 있습니다.
1. 사내 문서 기반 AI에서 중요한 것은 모델만이 아닙니다
AI 기능을 도입할 때 가장 먼저 고민하는 것은 어떤 모델을 사용할지인 경우가 많습니다.
어떤 LLM이 더 정확한지, 어떤 모델이 한국어를 잘 이해하는지, 비용은 어느 정도인지 비교하게 됩니다.
물론 모델 선택은 중요합니다.
하지만 사내 문서를 기반으로 답하는 AI에서는 모델 자체만큼 어떤 문서를 검색하게 할 것인지와 검색된 문서를 어떻게 사용할 것인지가 중요합니다.
아무리 좋은 모델을 사용하더라도 오래된 사규를 검색하면 오래된 기준으로 답할 수 있습니다.
잘못된 파일이 등록되어 있으면 그 내용을 근거로 답할 수도 있습니다.
권한 설정이 제대로 되어 있지 않다면 사용자가 원래 볼 수 없는 문서의 내용을 답변으로 확인하게 될 가능성도 있습니다.
결국 사내 AI의 정확성과 안전성은 단순히 '어떤 AI를 썼는가'만으로 결정되지 않습니다.
AI가 참고하는 데이터와 접근 가능한 범위를 어떻게 관리하는지가 시스템 품질에 직접적인 영향을 줍니다.
2. 오래된 문서와 최신 문서를 어떻게 구분할지 정해야 합니다
실제 회사에서는 같은 주제의 문서가 여러 개 존재하는 경우가 많습니다.
예를 들어 출장비 규정이 있다고 생각해보겠습니다.
공유 폴더에는 다음과 같은 파일이 함께 있을 수 있습니다.
- 출장비규정_2024.pdf
- 출장비규정_2025_개정안.pdf
- 출장비규정_최종.pdf
- 출장비규정_최종_진짜최종.pdf
- 출장비규정_2026.pdf
사람이 봐도 어떤 문서가 현재 기준인지 바로 판단하기 어려운 구조입니다.
AI도 마찬가지입니다.
여러 문서를 모두 검색 대상으로 두면 오래된 규정과 새로운 규정을 동시에 참고할 수 있습니다.
이때 AI가 잘못된 버전을 근거로 답하면 사용자는 AI가 틀렸다고 느끼지만 실제 원인은 문서 관리 구조에 있을 수 있습니다.
따라서 사내 AI를 구축할 때는 문서에 다음과 같은 정보를 함께 관리하는 방법을 고려할 수 있습니다.
- 문서 제목
- 문서 종류
- 버전
- 작성일
- 시행일
- 최종 수정일
- 현재 사용 여부
- 폐기 또는 이전 버전 여부
이런 정보가 있다면 검색할 때 현재 유효한 문서를 우선하도록 구성할 수 있습니다.
3. 오래된 문서를 무조건 삭제하는 것이 답은 아닐 수 있습니다
최신 정보만 사용하기 위해 과거 문서를 모두 삭제하면 간단해 보일 수 있습니다.
하지만 업무에 따라 이전 문서가 필요한 경우도 있습니다.
예를 들어 2024년에 체결한 계약의 기준을 확인하거나 당시 적용되던 업무 규정을 찾아야 할 수도 있습니다.
따라서 과거 문서를 완전히 제거하기보다 현재 답변에 사용할 문서와 과거 참고용 문서를 구분하는 구조가 더 적절할 수 있습니다.
예를 들어 일반적인 질문에는 최신 규정을 우선 검색하고, 사용자가 특정 시점을 명확하게 질문한 경우에만 과거 문서를 참고하도록 만들 수 있습니다.
중요한 것은 모든 문서를 똑같이 취급하지 않는 것입니다.
4. 문서를 업로드하는 순간부터 관리 정책이 필요합니다
AI 시스템을 만들 때 검색 기능에만 집중하면 문서 등록 단계가 단순한 파일 업로드 기능으로 끝나는 경우가 있습니다.
하지만 장기적으로는 문서가 어떤 상태인지 관리할 수 있어야 합니다.
예를 들어 담당자가 새로운 사규를 업로드했는데 이전 규정이 그대로 검색 대상에 남아 있다면 AI는 두 규정을 모두 참고할 수 있습니다.
따라서 새 버전이 등록될 때 기존 문서를 자동으로 이전 버전으로 변경하거나 관리자가 현재 적용 문서를 지정할 수 있도록 하는 기능을 고려할 수 있습니다.
문서 등록 시 필수 정보도 정의할 수 있습니다.
- 문서 분류
- 담당 부서
- 공개 범위
- 시행일
- 만료일
- 버전
이렇게 하면 문서가 계속 늘어나더라도 AI가 어떤 자료를 우선적으로 검색해야 하는지 판단하기 쉬워집니다.
5. 모든 직원이 모든 문서를 볼 수 있는 것은 아닙니다
사내 문서 기반 AI에서 매우 중요한 부분 중 하나가 권한입니다.
회사 내부 문서라고 해서 모든 직원에게 공개되는 것은 아닙니다.
예를 들어 다음과 같은 문서는 접근 범위가 다를 수 있습니다.
- 전체 직원용 업무 매뉴얼
- 인사팀 내부 문서
- 재무팀 정산 자료
- 임원 전용 보고서
- 특정 프로젝트 자료
- 특정 거래처 계약서
사용자가 AI에 질문했을 때 원래 접근할 수 없는 문서가 검색되어서는 안 됩니다.
예를 들어 일반 직원이 인사팀 내부 문서의 내용을 질문했을 때 AI가 문서를 검색한 뒤 일부 내용을 답변으로 제공한다면 기존 파일 시스템의 권한 정책을 AI가 우회하는 결과가 될 수 있습니다.
따라서 AI 검색 단계에서부터 사용자의 문서 접근 권한을 적용하는 것이 중요합니다.
6. 답변을 만든 뒤 가리는 것보다 검색 전에 막는 것이 중요합니다
권한 처리를 단순하게 생각하면 AI가 모든 문서를 검색한 뒤 최종 답변 단계에서 민감한 내용을 가리면 된다고 생각할 수 있습니다.
하지만 이미 권한 밖의 문서를 AI가 참고한 상태라면 답변에 일부 정보가 섞일 가능성을 완전히 배제하기 어렵습니다.
따라서 일반적으로는 사용자의 권한을 먼저 확인하고 해당 사용자가 접근할 수 있는 문서만 검색 대상으로 제한하는 구조가 더 안전합니다.
예를 들어 영업팀 직원이라면 전사 공개 문서와 영업팀 문서만 검색하고, 인사팀 직원이라면 전사 문서와 인사 관련 문서를 검색하도록 구성할 수 있습니다.
특정 프로젝트에 참여하는 사용자만 해당 프로젝트 문서를 검색하도록 할 수도 있습니다.
7. 사용자 권한이 바뀌면 AI 접근 범위도 함께 바뀌어야 합니다
한 번 권한을 설정했다고 해서 계속 같은 권한을 사용하는 것은 아닙니다.
조직 변경, 프로젝트 이동, 퇴사, 직책 변경 등으로 사용자 권한은 달라질 수 있습니다.
예를 들어 프로젝트 A에 참여했던 직원이 프로젝트에서 제외되었다면 이후에는 관련 문서를 AI 검색 결과에서도 볼 수 없어야 합니다.
따라서 사내 계정 시스템이나 조직 정보와 AI의 문서 접근 권한을 어떻게 연결할지도 검토해야 합니다.
권한 변경이 발생하면 AI 검색 범위에도 적절하게 반영되는 구조가 필요합니다.
8. AI 답변에는 출처를 함께 보여주는 것이 좋습니다
사내 AI가 답변만 보여주면 사용자는 그 내용을 어느 정도 믿어야 하는지 판단하기 어렵습니다.
특히 규정, 계약, 절차처럼 업무 판단에 영향을 주는 내용이라면 출처 확인이 중요합니다.
예를 들어 AI가 다음과 같이 답했다고 생각해보겠습니다.
“출장비는 1일 최대 10만원까지 지원됩니다.”
이 문장만 보면 어떤 문서를 기준으로 나온 답변인지 알 수 없습니다.
답변과 함께 다음 정보를 제공할 수 있습니다.
- 출처 문서명
- 문서 버전
- 해당 페이지 또는 위치
- 최종 수정일
- 관련 문서 바로가기
사용자는 필요하면 원문을 직접 확인할 수 있습니다.
결국 출처 표시는 단순한 UI 기능이 아니라 AI 답변을 업무에서 검증할 수 있게 만드는 장치입니다.
9. 출처가 없는 답변은 제한할 수도 있습니다
일반적인 생성형 AI는 질문을 받았을 때 가능한 답변을 만들어내려는 성향이 있습니다.
하지만 사내 문서 검색 서비스에서는 모르는 내용을 그럴듯하게 답하는 것보다 답하지 않는 것이 더 안전한 경우가 많습니다.
예를 들어 직원이 다음과 같이 질문했다고 생각해보겠습니다.
“해외 출장 시 비즈니스석을 이용할 수 있나요?”
사내 규정에 관련 내용이 없다면 AI가 일반적인 기업 사례를 이용해 답변을 생성해서는 안 될 수 있습니다.
이런 경우 다음과 같이 안내하는 편이 안전합니다.
“현재 등록된 사내 문서에서 해당 기준을 확인하지 못했습니다. 담당 부서에 확인해주세요.”
즉 사내 AI에서는 답을 잘하는 것뿐 아니라 언제 답하지 않을지를 정하는 것도 중요합니다.
10. 근거가 부족한 경우의 기준을 정해야 합니다
그렇다면 언제 답변하지 않을 것인지도 정책으로 정해야 합니다.
예를 들어 검색 결과가 전혀 없는 경우에는 답변을 제한할 수 있습니다.
관련 문서는 있지만 질문과의 연관성이 낮다면 추가 질문을 요청할 수도 있습니다.
서로 다른 문서가 상충하는 내용을 담고 있다면 최신 문서를 우선하거나 사용자에게 충돌 사실을 안내할 수 있습니다.
다음과 같은 상황을 구분할 수 있습니다.
- 관련 문서를 충분히 찾은 경우
- 관련 문서가 일부만 있는 경우
- 서로 상충하는 문서가 검색된 경우
- 현재 유효한 문서를 찾지 못한 경우
- 사용자에게 접근 권한이 없는 문서만 존재하는 경우
각 상황에서 어떤 답변을 제공할지 미리 정하면 서비스 동작을 더 일관되게 만들 수 있습니다.
11. 같은 질문이라도 사용자마다 답변 근거가 달라질 수 있습니다
권한이 적용되는 사내 AI에서는 같은 질문을 해도 사용자마다 검색되는 문서가 다를 수 있습니다.
예를 들어 “이번 프로젝트 일정 알려줘”라는 질문을 했다고 생각해보겠습니다.
프로젝트 A 담당자에게는 프로젝트 A 문서가 검색될 수 있지만, 해당 프로젝트에 참여하지 않는 직원에게는 그 정보가 제공되지 않아야 합니다.
따라서 사내 AI의 답변 결과는 단순히 질문 내용뿐 아니라 현재 로그인한 사용자의 조직과 권한에 따라서도 결정될 수 있습니다.
이런 구조를 개발하려면 기존 사내 사용자 정보와 문서의 접근 정책을 어떻게 연결할지 미리 정하는 것이 좋습니다.
12. 문서를 삭제하거나 교체했을 때 AI 검색 결과에서도 반영되어야 합니다
관리자가 문서를 삭제하거나 새로운 문서로 교체했는데 AI는 계속 이전 내용을 검색한다면 문제가 됩니다.
특히 문서를 별도의 검색 인덱스나 벡터 데이터베이스에 저장하는 구조에서는 원본 문서 변경과 검색 데이터가 함께 반영되는지 확인해야 합니다.
문서를 새로 등록하면 검색 대상에 추가되고, 기존 문서를 비활성화하면 더 이상 일반 답변에 사용하지 않도록 해야 합니다.
삭제된 문서라면 검색 데이터에서도 적절하게 제거하거나 비활성 상태를 반영할 필요가 있습니다.
즉 문서 관리 화면과 AI 검색 시스템이 서로 분리되어 움직이지 않도록 문서의 생성·수정·삭제 상태가 검색 데이터에도 동기화되어야 합니다.
13. 문서가 업데이트되면 언제 AI에 반영되는지도 중요합니다
새로운 규정이 오늘 오전 9시에 등록됐는데 AI에서는 다음 날부터 검색된다면 업무상 문제가 될 수 있습니다.
반대로 모든 문서 변경을 즉시 처리하려면 시스템 비용과 처리 방식도 함께 고려해야 할 수 있습니다.
서비스 특성에 따라 다음과 같이 정책을 정할 수 있습니다.
- 등록 즉시 반영
- 관리자 승인 후 반영
- 일정 주기로 일괄 반영
특히 중요한 사규나 업무 지침이라면 현재 적용 중인 문서가 무엇인지 명확하게 관리하는 것이 중요합니다.
14. 문서 처리 실패도 관리해야 합니다
모든 문서가 정상적으로 AI 검색용 데이터로 변환되는 것은 아닙니다.
PDF 구조가 복잡하거나 이미지로만 구성된 문서, 표가 많은 파일, 손상된 파일 등은 정상적으로 내용을 추출하지 못할 수 있습니다.
문서는 업로드됐지만 실제로는 AI 검색에 사용할 수 없는 상태일 수도 있습니다.
이런 상황에서 관리자 화면에 단순히 ‘업로드 완료’라고만 표시하면 담당자는 문서가 정상적으로 검색되고 있다고 오해할 수 있습니다.
따라서 문서 처리 상태를 구분하는 것이 좋습니다.
- 업로드 완료
- 처리 대기
- 분석 중
- 검색 반영 완료
- 처리 실패
처리 실패한 문서는 관리자가 확인하고 다시 처리하거나 파일을 교체할 수 있도록 만들 수 있습니다.
15. 질문과 답변 기록도 운영 데이터가 될 수 있습니다
사내 AI를 실제로 운영하면 직원들이 어떤 질문을 많이 하는지 확인할 수 있습니다.
예를 들어 같은 질문이 반복된다면 해당 업무 문서가 충분히 명확하지 않다는 의미일 수도 있습니다.
답변하지 못하는 질문이 반복된다면 필요한 문서가 아직 시스템에 등록되지 않았을 수도 있습니다.
직원들이 검색한 질문과 사용된 문서, 답변 성공 여부 등을 적절한 범위에서 분석하면 문서 체계를 개선하는 데 도움이 될 수 있습니다.
다만 질문 내용에 개인정보나 민감한 업무 정보가 포함될 수 있으므로 저장 범위와 열람 권한은 함께 검토해야 합니다.
16. 관리자가 AI 답변의 근거를 확인할 수 있으면 운영이 쉬워집니다
직원이 “AI가 잘못 답했다”고 문의했을 때 운영자가 원인을 확인할 수 있어야 합니다.
단순히 최종 답변만 저장하면 왜 그런 결과가 나왔는지 파악하기 어렵습니다.
운영 목적에 따라 다음과 같은 정보를 확인할 수 있도록 구성할 수 있습니다.
- 사용자의 질문
- 검색된 문서
- 참고한 문서 버전
- 최종 답변
- 답변 생성 시각
- 검색 결과 부족 여부
이런 정보가 있으면 문제가 모델 때문인지, 문서가 오래되어서인지, 검색 결과가 잘못 선택되어서인지 구분하기 쉬워집니다.
17. 중요한 업무라면 AI 답변만으로 최종 결정을 내리지 않도록 설계할 수 있습니다
사내 AI가 편리하더라도 모든 업무에서 AI 답변을 최종 판단 기준으로 사용해야 하는 것은 아닙니다.
특히 계약, 법무, 인사, 재무처럼 잘못된 정보가 실제 업무에 큰 영향을 줄 수 있는 영역은 사용자가 원문을 확인하도록 안내할 수 있습니다.
예를 들어 답변 아래에 근거 문서와 함께 다음과 같은 안내를 제공할 수 있습니다.
“본 답변은 등록된 사내 문서를 기준으로 제공됩니다. 중요한 업무 처리 전 원문을 확인해주세요.”
AI의 역할을 최종 결정자가 아니라 필요한 자료를 빠르게 찾고 내용을 정리해주는 업무 보조 도구로 명확하게 정의하는 것입니다.
18. 사내 AI를 기획할 때 확인하면 좋은 항목
사내 문서 기반 AI를 개발하려고 한다면 어떤 모델을 사용할지만 정하기보다 데이터와 권한 구조를 먼저 확인하는 것이 좋습니다.
- 문서 범위: 어떤 문서를 AI가 검색할 것인가?
- 최신성: 최신 문서와 이전 문서를 어떻게 구분할 것인가?
- 버전: 문서 개정 이력을 관리해야 하는가?
- 권한: 어떤 사용자가 어떤 문서를 볼 수 있는가?
- 조직: 부서·직급·프로젝트별 접근 범위가 다른가?
- 출처: 답변에 근거 문서를 표시할 것인가?
- 답변 제한: 근거가 없으면 답하지 않도록 할 것인가?
- 충돌: 서로 다른 문서가 다른 내용을 말하면 어떻게 처리할 것인가?
- 동기화: 문서 변경이 AI 검색에 언제 반영되는가?
- 실패: 처리되지 않은 문서를 관리자가 확인할 수 있는가?
- 기록: 질문과 답변 이력을 어느 정도 남길 것인가?
이런 내용을 먼저 정리하면 단순한 챗봇이 아니라 실제 조직에서 사용할 수 있는 사내 AI의 범위를 구체화하기 쉬워집니다.
19. 사내 AI 개발 견적에서는 'RAG 구축' 한 줄만 봐서는 부족합니다
AI 개발 견적서에서 ‘사내 문서 RAG 구축’, ‘문서 기반 챗봇’, ‘LLM 연동’ 같은 항목을 볼 수 있습니다.
하지만 같은 문서 기반 AI라도 실제 개발 범위는 크게 달라질 수 있습니다.
PDF 몇 개를 업로드하고 질문할 수 있는 기능과 사내 조직 구조에 맞춰 문서 권한을 나누고 최신 버전을 관리하며 출처와 답변 이력을 제공하는 시스템은 서로 다른 범위입니다.
예를 들어 실제 업무용 사내 AI라면 다음 기능이 추가될 수 있습니다.
- 사내 로그인 연동
- 부서별 문서 권한
- 문서 버전 관리
- 문서 등록·삭제·비활성화
- 검색 데이터 동기화
- 답변 출처 표시
- 검색 결과 부족 시 답변 제한
- 관리자 문서 관리
- 질문·답변 로그
- 처리 실패 문서 재처리
따라서 견적을 비교할 때는 단순히 어떤 LLM을 사용하는지보다 사내 문서가 어떤 방식으로 관리되고 어떤 권한으로 검색되며 답변의 근거를 어떻게 검증할 수 있는지를 확인하는 것이 좋습니다.
20. 사내 문서 기반 AI의 핵심은 '많이 답하는 것'이 아닙니다
사내 AI를 만들면 모든 질문에 답해주는 시스템을 기대하기 쉽습니다.
하지만 실제 업무에서는 답변 수보다 올바른 근거를 이용해 답하는 것이 중요합니다.
최신 문서가 없으면 없다고 말하고, 사용자의 권한 밖에 있는 정보라면 보여주지 않으며, 충분한 근거를 찾지 못했을 때는 임의로 답변을 만들지 않는 구조가 필요할 수 있습니다.
그리고 답변을 제공했을 때는 사용자가 어떤 문서를 근거로 나온 내용인지 직접 확인할 수 있어야 합니다.
결국 사내 AI의 신뢰도는 단순히 LLM의 성능만으로 결정되지 않습니다.
문서의 최신성, 권한, 검색 범위, 답변 기준, 출처가 함께 관리될 때 실제 업무에서 신뢰할 수 있는 시스템에 가까워집니다.
사내 문서 기반 AI를 도입하고 있다면
사내 문서를 AI에 연결하는 것 자체는 비교적 빠르게 구현할 수 있습니다.
하지만 실제 직원들이 업무에 사용하기 시작하면 문서 버전, 접근 권한, 잘못된 답변, 출처 확인 등 운영 과정에서 다양한 문제가 발생할 수 있습니다.
따라서 초기 설계 단계에서 다음 흐름을 함께 확인해보는 것이 좋습니다.
문서 등록 → 문서 분류·버전 관리 → 사용자 권한 확인 → 접근 가능한 문서 검색 → 근거 검증 → AI 답변 생성 → 출처 표시 → 근거 부족 시 답변 제한 → 문서 변경 시 검색 데이터 동기화
결국 사내 문서 기반 AI에서 중요한 것은 AI가 얼마나 자연스럽게 말하는지가 아니라 어떤 데이터를 근거로 누구에게 어디까지 답할 수 있는지를 통제할 수 있는가입니다.
AI 기능의 데이터와 권한 설계가 고민이라면 OneSoft와 요구사항을 검토해보세요.
개발 문의와 자세한 내용은 OneSoft 홈페이지 에서 확인해보세요.
#AI개발 #사내AI #문서검색 #업무자동화 #RAG #RAG개발 #AI챗봇 #문서관리 #기업AI #LLM개발 #외주개발 #OneSoft
