사전 학습 지식의 시대적 한계가 LLM의 응답 성능에 미치는 영향을 탐구한 프로젝트입니다. 1930년 이전 텍스트로만 학습된 Talkie-1930에게 현대 개념을 과거에도 이해 가능한 기능적 표현으로 바꿔 물었을 때, 응답 정확도와 품질이 어떻게 달라지는지 실험했습니다.

A project exploring how the time-bound limits of pre-trained knowledge affect LLM answers. I asked Talkie-1930, a model trained only on pre-1931 text, about modern concepts rewritten as functional descriptions it could understand, and measured how answer accuracy and quality changed.

문제의식

Question

• Talkie에게 GPS의 쓸모를 물으면 GPS를 눈으로 보는 방향 계기처럼 설명함. 질문은 이해했지만 단어를 모르는 상황.
• 모르는 현대 개념을 이미 아는 기초 개념으로 분해해 주면(GPS → "멀리 있는 송신기의 신호 시간을 비교해 위치를 추정하는 방법"), 모델이 과거에 학습한 전기 · 통신 · 기계 지식을 조합해 추론할 수 있는지 확인하고자 함.

• Asked what GPS is useful for, Talkie describes a direction instrument you look at. It understood the question but not the word.
• If an unknown modern concept is broken down into basic ones it already knows (GPS → "compares timed signals from distant transmitters to estimate position"), can the model combine its older knowledge of electricity, communication and machinery to reason?

실험

Experiment

• 모델은 그대로 두고 질문만 바꾸는 전처리 계층 구현 — 용어 탐지 → 기능 설명 연결 → 문장 재작성 → 검증.
• 6개 분야 100문항, 현대 용어 사전 141개 · 기능 설명 사전 100개 구축.
• 효과의 원인을 가리기 위해 원문 · 사전 치환 · 길이만 맞춘 대조군 · 전체 파이프라인 · 검증 생략 5개 조건을 같은 문항으로 비교.
• 객관식 정확도와, 조건명을 숨기고 A/B 순서를 섞은 서술형 블라인드 비교(LLM Judge) 두 가지로 평가.
• Talkie 웹 API가 부하 시 응답을 거부해 정확도가 0으로 나오던 문제 — 수집 실패와 무효 응답을 분리 기록하고 재시도 · 응답 캐시 · 프롬프트 해시 검증 추가.

• Built a preprocessing layer that changes only the question, not the model — term detection → description mapping → rewrite → validation.
• 100 questions across 6 domains, a 141-entry modern term dictionary and 100 functional descriptions.
• Compared five conditions on the same questions to isolate the cause: raw, dictionary only, length-matched control, full pipeline, no validator.
• Evaluated with multiple-choice accuracy and blind open-ended comparison by an LLM judge (condition names hidden, A/B order shuffled).
• The Talkie web API rejected requests under load and accuracy came out as 0 — logged collection failures apart from invalid answers and added retries, a response cache and prompt hash checks.

결과

Results

• 객관식 정확도 개선은 확인되지 않았지만, 서술형 응답에서는 원본 질문보다 높은 품질 평가를 받음.
• 객관식 100문항에서는 변환해도 정확도 개선 없음 (원문 21%, 변환 19%, 모든 조건이 무작위 기준 25% 아래).
• 서술형에서는 변환한 질문이 원문에 79승 18패 3무, 길이만 맞춘 대조군에도 88승 11패로 앞섬 (p<0.001).
• 단순 사전 치환보다 낫지는 않았음 (45승 51패) — 효과는 용어를 기능으로 풀어 쓰는 것 자체에서 나옴.

• No multiple-choice accuracy gain, but open-ended answers were rated higher than for the original questions.
• Multiple choice: no accuracy gain from rewriting (raw 21%, rewritten 19%; every condition below the 25% random baseline).
• Open-ended: rewritten questions beat raw 79–18 (3 ties) and the length control 88–11 (p<0.001).
• No better than plain dictionary substitution (45–51) — the gain comes from spelling out the function itself.

결론

Takeaway

• 이를 통해 모델 자체를 재학습하지 않고도 입력 표현을 재구성하여 지식 격차의 일부를 완화할 가능성을 관찰.
• 다만 순수 추론 능력이 입증되거나 지식 부족과 추론 부족이 완전히 분리됐다고는 볼 수 없으며, 서술형 평가가 LLM Judge에 의존한다는 한계가 있음.

• Observed that restructuring only the input, with no retraining, can partly close the knowledge gap of a knowledge-limited LLM.
• This does not prove pure reasoning ability or fully separate missing knowledge from missing reasoning, and the open-ended scores rely on an LLM judge.

Python, OpenAI API, Talkie-1930

학교 프로젝트 · 기계학습개론University project · Intro to Machine Learning