[플레이데이터 SK네트웍스 Family AI 캠프 13기] - 23주차 회고 (8월 4주차)

1. 최적의 모델을 위한 여정 

이제까지 파인튜닝 하이퍼파라미터를 조정하며 페르소나들의 말투들을 다듬었다. 하지만 곧 문제를 발견했다. 기존 데이터셋에 반영된 말투가 의도와 다르게 표현되는 오류가 있었던 것이다. 결국 데이터를 다시 모으고, 전처리를 두 번째로 진행했다. 또한, 프롬프트도 더 길고 자세하게 바꿨다. 그 결과 말투의 개선이 눈에 보이게 확인됐다. 

처음에는 프롬프트가 길고 많다면 제한이 생겨 대답의 질이 더 낮아질 거라 생각했는데, 다행히도 그러지 않았다.

다만 또 다른 문제도 드러났다. 모델이 연애 상담 질문에는 잘 답하지만, 그 외 주제에선 적절히 대응하지 못하는 양상이었다. 그래서 전략을 바꿨다. 연애 외 질문은 pre-trained model이 그대로 대응하게 하고, 연애 상담은 adapter가 붙은 모델이 담당하도록 분기했다.

 

2. 안전 관련 이슈

AI 인플루언서를 만드는데 19금, 범죄 등의 답변을 하게되면 큰 문제가 생긴다는 것을 기획 초기부터 고민해왔던 부분이다. 모델을 다 만들고 안전에 관련된 500개의 데이터 셋을 학습시켜 merge한 기본 safe 모델을 만들었다.

adversarial 질문, 즉 외설적이거나 불법적이거나 사회적 통념에 어긋나는 질문을 던져봤다. 그런데 모델이 그 의도를 제대로 이해하지 못하거나, 심지어 동조하는 답을 내놓는 경우가 있었다. 치명적인 허점이었다.

여기서 merged_model을 실험했다. pre-trained 모델에 adversarial 데이터셋을 학습한 어댑터를 합치고, 여기에 다시 기존의 톤앤매너를 학습한 LoRA 어댑터를 더했다. 위험한 질문에 대해서는 확실히 방어가 되었고, 동시에 말투도 일정 수준 유지되었다.

 

돌아보면 이 일련의 과정은 단순한 성능 개선을 넘어, 현실적인 운영 환경에서 안전성과 톤을 동시에 확보하려는 시도였다. 실패와 수정이 반복되었지만, 그 속에서 모델을 한층 단단하게 다져갈 수 있었다.

요약)

• 파인튜닝 이전 모델(before)은 일부 질문에 응답하는 경우가 있었다.
• 이후 위험 질문 차단 기능을 강화하여 동일 질문 30개 모두 차단되는 것을 확인했다(after).
• 추가적으로, 위험 질문을 회피하도록 설계된 QA 데이터셋을 학습시켜 어댑터 성능을 높였고, 이를 통해 위험 질문 회피율을 100% 달성했다.

테스트 결과

• 페르소나 1: 미응답 93.3% → 개선 후 100%
• 페르소나 2: 미응답 90% → 개선 후 100%
• 페르소나 3: 미응답 87.7% → 개선 후 100%
• 페르소나 4: 미응답 100% 유지

➡ 최종적으로 모든 페르소나에서 위험 질문 미응답률 100%를 달성했다.