[AI Tech Talk]비즈니스 문제를 해결하는 AI
7월 16일, 강남역에 위치한 현대카드 스튜디오 블랙에서는 "비즈니스 문제를 해결하는 AI"라는 주제로 Tech Talk이 진행되었습니다. Allganize에서는 신기빈 CTO가 참석하여 자연어 이해(NLU)가 기반 기업용 기계독해/Q&A 솔루션에 관한 이야기를 전했습니다. #뉴스 #소식 #공지
7월 16일, 강남역에 위치한 현대카드 스튜디오 블랙에서는 "비즈니스 문제를 해결하는 AI"라는 주제로 Tech Talk이 진행되었습니다.
Allganize에서는 신기빈 CTO가 참석하여 자연어 이해(NLU)가 기반 기업용 기계독해/Q&A 솔루션에 관한 이야기를 전했습니다. Allganize이외에도 패션/이커머스 이미지 인식 AI 서비스를 B2B로 제공하는, 최근 펀딩에 성공하신 옴니어스의 전재영 대표님, 머신 러닝 기반 기업형 일정관리 서비스를 제공하는 코노의 민윤정 대표님도 좋은 이야기를 들려주셨습니다.
현장에서 소개한 Allganize의 이모저모를 간략하게 정리해 보았습니다.
Q. Allganize가 주력해 온 것에 대해 소개해 주세요.
기업용 챗봇에 적용할 수 있는 기술은 MRC말고도 Intent classification, NER등이 있습니다. 간단하게 소개드리면 예를 들어 End user가 "내 제로카드 분실했어요." 라고 말을 걸었다면 의도 파악을 통해 카드 분실 시나리오로 처리할 수 있을 겁니다. 분실한 카드가 어떤 것이며 언제 분실했는지 다시 물어보는 식으로 말이죠. 하지만 좀 더 똑똑하게는 NER을 통해서 분실된 카드가 제로카드임을 한 번에 인식하고 "지난 5월에 발급받은 제로카드를 정지 처리 해드릴까요?" 라고 할 수도 있을 겁니다. 저희 회사에서는 이런 처리를 위해 Intent classification, NER기술들을 개발, 적용해왔습니다. 그런데 이 두 기술은 domain specific한 데이터들이라 잘 정리되고 이쁘게 태깅된 데이터들이 많이 필요합니다. 고객들을 만나보면 이 부분을 굉장히 부담스러워 하시더군요. 그래서 고객에게 부담없이 적용할 수 있는 NLU기술이 무엇일까를 고민하였고 그런 고민의 결과들이 FAQ, MRC기술의 적용이었습니다.지금, 그리고 앞으로 풀어야하는 문제는 Open Domain Question Answering이라는 분야입니다. 간단히 말해서 QA의 속도를 어떻게하면 높일수 있을까 하는 부분입니다. 정확도를 떨어뜨리지 않으면서도 대량의 문서에서 원하는 답변을 빠르게 찾아내는 방법을 찾고 있습니다.
Q. G사, I사나 국내 N사, K사 등과 어떻게 경쟁하고 계신가요?
저희 유료 고객사들 중에는 경쟁사 서비스를 이용하시다가 넘어온 경우도 있으시고, 대기업 서비스를 이용하다가 넘어온 경우도 있으신데요. 이런 고객사들이 말씀해 주시는 큰 기업 경쟁 서비스 대비 장점은 크게 2가지가 있습니다. 첫 번째는 AI 퀄리티인데요. 엔드 유저가 아무리 이상하게 말해도 AI 가 찰떡같이 답변을 잘 찾아주니, 여기에 대한 만족도가 아주 높습니다. 기업 현장에 적용되는 AI 모델에 대해서 저희가 가장 깊이 있게 고민하고 있다는 결과라고 생각합니다. 이런 부분들은 저희가 고객사와 함께 아주 긴밀히 커뮤니케이션 하면서 발견하는 부분들이라서 스타트업의 강점이 확실히 작용하는 거 같구요. 두 번째는 AI 특성 상, 아무리 잘 준비하고 런칭을 해도 완전히 새로운 패턴의 질문들이 들어오게 됩니다. 대기업 AI 는 이런 새로운 케이스를 처리, 재트레이닝, 배포까지 최소 5-6시간은 걸려서 하루 이상의 작업이 된다고 하는데, 저희 같은 경우에는 이런 대응이 시스템에서 5분 정도이 시간에 재트레이닝, 배포까지 완료되어서 실제 운영에서의 flexible 함을 높게 평가해 주고 계십니다
Q. 데이터 확보, 전처리, 가공에 대해서 말씀해 주실 수 있나요?
요새 딥러닝은 보통 END to END 모델을 많이 사용되고 있어서 전처리나 가공에 많은 힘을 들지 않는 편이라고 생각되네요. NLP에서도 형태소분석등을 거치지 않고 넣어도 어느정도 성능이 나오는 모델들이 공개되어있구요. 그리고 NLU분야는 작년에 BERT가 나오면서 transfer learning을 이용한 학습이 대세가 되었습니다. 단지 성능이 높게 나오는 것 뿐아니라 트레이닝 데이터가 훨씬 적게 들어가도 괜찮은 성능이 나오는 경우를 많이 관찰했습니다. 그래도 domain specific한 문제를 풀기 위해서 domain specific한 데이터를 수집해야만 합니다. 저희는 기업의FAQ data, 커뮤니티의 리뷰를 수집해서 직접 손으로 태깅했습니다. 이런 과정을 거치면서 태깅툴도 별도로 개발하기도 했습니다. 그래서 태깅을 좀 더 빠르게 하기 위해 유사한 구문을 찾아서 추천해준다던가 하는 기술도 연구중에 있습니다. 그러나 무엇보다도 실제 데이터를 보는게 가장 중요하긴 합니다. 그래서 접근장벽이 낮춰서 HR assistant로 접근해서 먼저 사용하게 해보고 이후 사용자의 패턴을 보고 새로운 기술을 제안해본다던가 하는 식으로 데이터를 확보하고 제품을 발전시키고 있습니다.
Q. AI Bot과 NLU API 시장에서 경쟁업체 대비 Allganize의 장점은 무엇일까요?
최근 일본 고객사와 사용 연장 계약을 진행하면서 받은 피드백이 답변이 될수 있을 것 같습니다. 고객사 내부에서 Allganize 포함 3개의 회사와 비교한 뒤 최종적으로 Allganize를 선택하셨습니다. 그 이유로는 1)당연히 AI 성능이 훨씬 뛰어나고, 2)사용성이 편리하고 3) 프로덕트의 update 주기가 빈번하여 향후 발전 가능성이 기대되며 4)비용이 합리적이다 등을 말씀해주셨습니다.
Tech Talk에서 언급된 내용 혹은 그 외 Allganize의 NLU, Alli가 궁금하시면 언제든지 biz@allganize.ai 로 문의주시기 바랍니다.