수동 데이터 태깅이 필요없는 Allganize의 자연어 이해 AI 덕분에, Alli 는 간단한 FAQ 데이터 업로드 후 바로 사용이 가능합니다. 또한 추가로 빠른 시간 안에 FAQ 응답 정확도를 더욱 끌어올리는 fine-tuning 도 가능한데요, 이번 포스팅에서는 그 방법을 자세하게 공유하겠습니다.

답변 정확도를 끌어올리는 데는 아래 3가지 방법이 있습니다.

  1. 프리뷰에서 AI 를 훈련시켜 각 FAQ 의 ‘조정 신뢰도 (FAQ 후보 제시 기준)’ 조정
  2. '동의어 사전'에 산업군 및 대상 고객 사이에서만 쓰이는 약어/속어 등록
  3. 고객 수, 질문 수 및 fine-tune 정도를 고려하여 FAQ 설정 최적화

하나씩 천천히 살펴보겠습니다.

1. 프리뷰 기능을 활용한 '조정 신뢰도' 조정

Alli 는 고객의 실제 선택에 따라 FAQ 정렬의 기준이 되는 '조정 신뢰도'를 수정합니다. 제시된 FAQ 후보 중 하나가 고객에게 선택되면 선택된 후보의 조정 신뢰도는 상승하며, '일치하는 항목 없음' 이 선택되면 제시된 모든 후보의 조정 신뢰도가 감소합니다 (참고 - 고객 선택이 FAQ 검색 결과에 반영되도록 설정하기). 답변 후보는 조정 신뢰도가 높은 항목부터 순서대로 제시됩니다.

그런데 이 수정은 대시보드의 프리뷰 모드에서의 선택에 의해서도 동일하게 이루어집니다. 즉 이를 이용하면 Answer Bot 이 고객에게 공개되기 전에 담당자들이 미리 예상 질문 (혹은 기존 고객의 실제 질문들) 을 입력하고 / 가장 적절한 답변을 고르는 과정을 반복함으로써 AI 를 훈련시킬 수 있는 것이죠.

아래 스크린샷을 참고하세요.

프리뷰에서 답변을 선택하면...
조정 신뢰도가 변화하고...
제시되는 FAQ 항목의 순서가 변화합니다.

위 과정을 보다 쉽게 진행하려면, 아래와 같이 FAQ 설정을 수정하는 것을 추천합니다.

FAQ 설정 아이콘은 FAQ > Q&A 오른쪽 상단에 있습니다.
  • 질문 유사성 기준값 / 질문 후보 개수 - 원하는 FAQ 가 답변 후보로 잘 나오지 않는다면 질문 유사성 기준값을 조금 낮추거나 질문 후보 개수를 늘려 보세요. 기준값은 0.4~0.5 , 후보 개수는 5개 이상을 추천합니다.
  • 신뢰도 조정 속도 - 기본 설정은 0 이므로 위 fine-tune 과정을 시작하기 전에 우선 0.1~0.2 정도의 낮은 수치로 변경합니다. 이후 여러번 동일한 답변을 선택해도 답변 우선순위가 크게 변하지 않는다고 생각되는 경우 신뢰도 조정 속도를 더 올립니다.
  • 질문&답변 내용 모두 반영 - 고객 질문과 제시되는 FAQ 후보의 '질문'이 최대한 유사하도록 하고 싶다면 해당 옵션을 끄면 됩니다. 옵션이 켜져 있으면 답변 내용이 검색에 고려됩니다.

2. 동의어 사전 등록

FAQ 의 신뢰도 결정에는 키워드가 큰 영향을 미칩니다. 일반적으로 Alli 의 AI 는 동일한 키워드를 사용하지 않아도 단어와 문장의 의미를 이해하여 가장 적절한 FAQ 검색 결과를 제시하지만, 실제 고객 질문에는 특정 산업군, 심지어는 대상 고객들 사이에서만 사용되는 특이한 표현들이 포함되는 경우가 잦습니다.

동의어 사전을 등록하면 AI 가 이런 표현들을 이해하도록 할 수 있습니다. 예를 들어 은행이라면 현금=시재, 증권사라면 이동평균선=이평선 등을 등록할 수 있습니다.

이를 위해서는 지식 베이스 > Q&A 로 이동하여 '동의어 사전' 버튼 클릭 후 동의어를 등록하기만 하면 됩니다 (참고 - Alli User Guide - 동의어 사전). 별도의 AI 트레이닝은 필요하지 않습니다.

동의어는 복수로 등록 가능합니다.

아래 예시의 경우 '무료 체험'과 '프리 트라이얼'이 동의어로 등록되어, 프리뷰의 최상위 검색 결과가 이를 반영하고 있습니다.

기존 고객 질문 데이터와 추가적인 예상 동의어 리스트를 작성하여 최대한 많은 동의어를 등록하세요. 동의어는 사전 준비 시기 뿐 아니라 언제든 추가로 수정 / 등록할 수 있습니다.

프리뷰 모드에서의 AI 훈련과 동의어 등록을 반복하면 Alli 가 정확한 FAQ 후보를 추천하는 빈도가 빠르게 높아집니다. 이 과정을 거쳐 일반적으로 약 반나절에서 하루 정도 안에 80%~90% 확률로 정확한 답변이 답변 후보에 포함되도록 할 수 있습니다.

3. FAQ 설정 최적화

마지막 단계로 FAQ 설정을 다시 조정하여 고객에게 실제로 어떻게 FAQ 후보들을 노출할지 결정합니다.

일반적인 최초 설정 예시는 아래와 같습니다. 다소 융통성 있게 다양한 답변이 노출되게 하고, 직접 답변은 최대한 줄입니다. 또한 고객 피드백으로 추가 fine-tune 을 진행할 수 있는 설정입니다.

  • 질문 유사성 기준값 - 0.5~0.6
  • 직접 답변 유사성 기준값 - 0.9~0.95
  • 질문 후보 개수 - 3~5
  • 신뢰도 조정 속도 - 0.1~0.5 (고객 질문이 많다면 낮게, 많지 않다면 높게 설정)

위 수치는 초기 fine-tune 이 얼마나 진행되었는지, 오픈 후 예상되는 질문 수가 얼마나 되는지에 따라 조정하면 됩니다. FAQ 설정 메뉴가 열려 있는 동안 수치를 조절하면 FAQ 검색 프리뷰 결과가 실시간으로 변하므로, 프리뷰 결과를 참고하면서 수치를 결정하세요. 수치가 결정되면 적용 버튼을 눌러 설정을 적용합니다.

다소 긴 글로 Alli 의 AI 를 더욱 똑똑하게 훈련하는 방법을 알려드렸습니다. 혹 이해가 잘 가지 않거나 더 궁금한 점이 있으시다면, 언제든 고객팀 담당자에게 문의 부탁드립니다!