[플레이데이터 SK네트웍스 Family AI 캠프 13기] - 22주차 회고 (8월 3주차)

1. 파인튜닝을 진행했다. 

각각 페르소나들의 말투들을 학습시킨 어댑터들을 가지고 파라미터들을 조금씩 조정해가면서 파인튜닝을 진행했다. 

여러번 테스트하고 최선의 답을 뽑아내는 어댑터들을 선정할 수 있었다. 

 

파인튜닝의 과정.. 

 

그리고 결과...

 

이해하기 어려운 질문 30세트와, 일상적인 연애 질문 20세트를 돌려서 답을 받아냈다. 

(1) 기능성 검증

테스트의 목적을 곱씹어보면 이렇다.

우리가 확인하고 싶은 건 단순히 답변이 나오는지가 아니라, 그 답변이 페르소나를 온전히 담고 있는가 하는 점이다. 

정체성을 잃지 않고 재현하는지가 첫 번째 기준이였다. 

또 하나는 과업에 얼마나 충실한가다.

질문의 의도를 제대로 파악해서 요약하고, 문제를 정의하며, 대안을 내놓고, 다음 행동과 주의점까지 빠짐없이 짚어주는지를 확인했다. 

그리고 중간에 형식이 누락되거나 순서가 뒤죽박죽 되지는 않는지, 프롬프트가 그대로 새어 나오지는 않는지도 꼼꼼히 봤다. 

안전성 역시 확인했다. 비하나 불법, 자해·타해를 조장하는 위험한 내용이 없는지, 그리고 시스템 프롬프트에서 요구하는 지침을 어기지 않는지가 중요했기에, 이 부분은 다음주도 계속 확인할 예정이다.

 

(2) 성능 검증

성능 검증에서는 단순히 답변이 잘 나오느냐가 아닌, 답변의 구조와 품질이 기준에 맞춰 나오는지를 확인했다. 

또한, 응답 품질 점수를 확인했다. 명료함과 간결함과, 위험을 피하는 안전성을 수치로 표현해서 종합 점수를 매겼다. 

 

성능을 단순한 정답률이 아니라 체감 품질로 정의했다. 그래서 합성 점수는

** composite_score = 0.5*간결성 + 0.3*명료성 + 0.2*안전성 **

이라는 식으로 잡았다.

간결성에 가장 높은 가중(0.5)을 준 건 이유가 있다.

채팅이나 스트리밍 환경에서 답변이 너무 길어지면 흐름이 깨지고, 사용자는 쉽게 지쳐버린다.

바로 이해되는 상담을 위해선 군더더기 없는 문장이 가장 큰 만족도를 좌우하기에 간결성을 가장 큰 비중을 줬다. 

명료성은 그 다음이다.

평균 문장 길이와 표현의 모호함을 기준으로 삼았고, 간결성보다 낮은 0.3의 가중을 줬다.

메시지를 짧게 말하는 것과 동시에, 애매하지 않고 분명하게 전달되는 것이 필요하기 때문이다.

안전성은 조금 다르게 접근했다.

보통 안전성은 1.0(준수) 아니면 0.0(위반)처럼 양극단으로 갈리는 경우가 많다.

여기에 높은 가중을 주면 전체 점수가 안전성만으로 뒤집히는 불균형이 생길 수 있다.

그래서 안전성을 기본적인 전제 조건으로 두되, 보조적인 무게(0.2)만 실었다.

결국 이 조정은 단순히 점수를 계산하기 위한 것이 아니라, 실제 대화 환경에서의 균형을 맞추기 위한 선택이었다.

빠르고, 이해하기 쉽고, 기본적인 안전을 담보하는 것. 그게 상담형 답변의 품질이라고 생각했기에 이런 기준을 정했다.

 

 

가장 먼저 고민한 건, 답변이 단순히 “많이 말했는가”가 아니라 얼마나 적당히 말했는가였다.

그래서 brevity_score라는 지표를 만들었다. 답변이 너무 짧으면 핵심을 놓치기 쉽고, 너무 길면 군더더기 속에 본질이 묻혀버린다.

• 토큰 수가 40 미만이면 0.3. 이건 아무리 간결하다 해도 필요한 정보가 빠져 있을 수 있다는 뜻이다.
• 300을 넘어서면 0.5. 말은 길지만 독자 입장에선 “그래서 요점이 뭐지?” 하며 답답해질 수 있다.
• 그 사이 구간은 1.0을 주었다. 짧지도 길지도 않은, 딱 알맞은 분량이라는 의미다.
• 무엇보다 중요한 건 “짧을수록 좋다”가 아니라, 너무 짧지도 너무 길지도 않음을 본다는 점이다.

그리고 답변의 **명료성(clarity_score)**도 따로 잡았다. 이건 가독성을 단순한 휴리스틱으로 본다.

구조화된 응답에서 핵심 필드, 즉 summary·problem·next_step만 뽑아 문장 길이를 확인한다.

• 문장이 적당히 짧고 간단하면 1.0. 읽는 순간 의미가 들어온다.
• 반대로 문장이 길게 이어져 핵심이 묻히면 0.6. 이럴 때는 구문을 단순화하거나 문장을 나눌 것을 권장했다.

결국 이 두 점수는 “답변이 얼마나 읽기 좋고, 딱 맞게 잘려 있는가”를 보는 장치다.

기술적인 평가 지표 같지만, 실제로는 사용자가 답변을 읽으면서 느낄 체감 품질을 반영한 셈이다.

 

(3) 결론 

이번 테스트의 초점은 각 페르소나 어댑터가 문제를 얼마나 잘 이해하고, 맥락에 맞는 답변을 내놓으며, 동시에 안정성을 지켜내는가에 있었다.

단순히 대답이 나오는지만 본 게 아니라, 질문 의도를 놓치지 않고 따라가는지, 응답이 얼마나 알맞고 매끄러운지, 그리고 그 과정에서 안전이나 성능상의 리스크가 드러나지 않는지를 끝까지 살폈다.

결과는 대체로 긍정적이었다.

파인튜닝된 모델들은 질문의 맥락을 잘 읽고 적절한 답을 내놓았으며, 안전 관련 문제나 에코 같은 중대한 오류는 관찰되지 않았다.

간결성 지표에서 persona3와 persona4는 다소 장문의 답변을 내는 경향이 있었지만, 스트리머 형식의 대화 환경에서는 오히려 풍부함으로 체감 품질을 해치지 않는 수준이었다.

지연 성능 또한 P95 기준 15초 이내라는 권장 임계값을 만족해, 응답성 측면에서도 무리 없는 결과를 보였다.

결론적으로, 각 페르소나 어댑터들은 안정성과 지연 성능에서 운영 환경에 투입할 수 있는 수준임을 확인했다.

이번 검증을 통해, 준비한 모델들이 실제 상담·대화 상황에서도 충분히 신뢰할 수 있음을 다시 한번 체감할 수 있었다.

 

 

 

2. 스파크 스터디 

 

스파크 스터디를 진행하고 있었는데, 이번 회고록에 잠깐 껴넣어본다..

독학하면서 팀원들과 코드를 같이 쳐보며 표가 나오는걸 보는게 정말 재밌다!