LLM이 raw source에서 지식을 추출하여 영속적 위키를 점진적으로 구축하고 유지하는 패턴. RAG와 달리 매 쿼리마다 재탐색하지 않고, 한번 종합된 지식이 계속 축적된다.
핵심 내용
RAG 시스템은 쿼리 시점에 원본 문서에서 관련 청크를 검색하여 답변을 생성한다. 5개 문서를 교차 종합해야 하는 질문이라면 매번 처음부터 조각을 맞춰야 한다. LLM Wiki는 이 과정을 한번만 수행하고 결과를 영속적 마크다운 파일로 유지한다 (출처: LLM Wiki).
3-Layer Architecture
| 레이어 | 역할 | 소유자 |
|---|---|---|
| Raw Sources | 불변의 원본 자료 (기사, 논문, 이미지) | 사용자 |
| Wiki | LLM이 생성·유지하는 마크다운 파일 (요약, 엔티티, 개념 페이지) | LLM |
| Schema | 위키 구조와 컨벤션을 정의하는 설정 문서 (CLAUDE.md 등) | 사용자+LLM 공동 진화 |
3가지 오퍼레이션
- Ingest: 새 소스를 읽고 위키에 통합. 한 소스가 10-15개 위키 페이지에 영향을 줄 수 있다.
- Query: 위키에 대해 질문. 좋은 답변은 다시 위키 페이지로 저장하여 탐색이 축적된다.
- Lint: 위키 건강 점검 — 모순, 오래된 주장, 고아 페이지, 누락된 교차참조 탐지.
Index + Log
- index.md: 콘텐츠 중심 카탈로그. 쿼리 시 LLM이 먼저 읽어 관련 페이지를 찾는다. ~100개 소스 규모까지 embedding 없이 작동.
- log.md: 시간순 오퍼레이션 기록.
grep "^## [" log.md로 파싱 가능.
RAG와의 차이
RAG는 매 쿼리마다 지식을 원본에서 재도출(re-derive)한다. LLM Wiki는 지식을 한번 컴파일하고 유지한다. 위키는 compounding artifact — 소스를 추가하고 질문할수록 교차참조, 모순 표기, 종합이 자동으로 풍부해진다.
Memex와의 연결
Vannevar Bush가 1945년에 제안한 Memex — 개인이 큐레이션하는 지식 저장소에 문서 간 연상 트레일을 구축하는 비전 — 과 정신적으로 같은 계보에 있다. Bush가 해결하지 못한 “누가 유지보수하나”의 문제를 LLM이 담당한다 (출처: LLM Wiki).
실전 사용
Obsidian을 IDE로, LLM을 프로그래머로, 위키를 코드베이스로 비유할 수 있다. Obsidian Web Clipper로 소스를 수집하고, LLM 에이전트가 위키를 유지하며, 그래프 뷰로 구조를 확인한다.
스케일이 커지면 Knowledge Graph Extraction처럼 그래프 기반 탐색 도구나, 마크다운 검색 엔진(qmd 등)을 붙여 확장할 수 있다.
관련 링크
- Knowledge Graph Extraction — 소스에서 구조화된 지식 그래프를 추출하는 접근