[AWS] ChatGPT API 이용 전생테스트 런칭

 

 

 

Chat GPT의 인기가 몇개월이 지나도 식지 않는다.

 

수많은 서비스들이 런칭되고있고

 

이들은 때론 실생활에 매우 유용하다.

 

유행에 뒤쳐지지 않게 API를 이용해보고 인사이트를 얻고자 프로젝트를 시작했다.

 

---

 

테스트 링크

ChatGPT 전생스토리

 

홈 화면

 

채팅중 화면

 

분석결과 화면

 

---

 

기획

 

이전 프로젝트들에서는 빠른 출시와 매출을 기대했다면

 

이번 프로젝트에서는 아래와 같은 내용들을 중점으로 뒀다.

 

1. Chat GPT API 사용 인사이트

 

2. Chat GPT 프롬프트 엔지니어링

 

etc.

- 개발자에게 제안하기기능

- 채팅형 UI

 

 

---

 

개발

 

기술 스택

React(js), python, AWS (lambda, DynamoDB, APIgateway, S3, CloudFront, Route53, Translate)

 

역할분담
개발자1	backend, frontend, infra
개발자2	backend, frontend, infra
개발자3	frontend, UI/UX, PR

 

---

 

주요 기능 : 

 

 

 

 

 

 

 

1. GPT 답변 30초 내에 수신

 

- 사용자로부터 받은 메시지로 문자열을 생성

- AWS Lambda를 이용해 ChatGPT API 사용

- API로부터 답변을 30초 내에 수신하여 출력

 

 

 

 

 

 

 

 

---

 

 

 

 

2. 채팅형 UI 적용

 

- 문자열을 만들기 위한 단순 입력이 아닌

GPT와 채팅하는 사용자 경험을 주기 위함

 

 

 

 

 

---

 

3. 소셜 공유하기

 

- react-share 이용한 공유 기능 구현

 

---

 

 

 

 

 

 

 

 

4. 개발자에게 제안하기

 

- 더 많은 인사이트를 얻기 위한 목적

- 고객센터

 

 

 

 

 

 

 

 

 

 

 

 

---

 

 

5. 주의문구 삽입

 

- ChatGPT가 폭력적이거나 선정적인 문구를 출력하는 경우 있음

- 모든 변수를 제어할 수는 없기에 Notice 추가

 

 

 

 

---

 

주요 Issue 및 해결 : 

 

물론 내 입장에서의 주요 ISSUE 여서 다른 팀원들이 느낀바와 다를 수 있다.

---

1. ChatGPT 속도 이슈

 

- 한글 질답 / 약 300 토큰 일 경우에 우리의 질문에 대한 답변은 약 40~50 초로 반환됨

- AWS API Gateway 는 30초의 timeout 이 존재 

- 영어 질답의 경우 토큰이 적어 답변의 반환이 10~20초로 줄어듦

- AWS Translate를 이용해 답변 재 변환하여 해결.

---

2. ChatGPT 리턴 슬라이싱 에러

- 리턴 형식을 list로 요청했으나 일정하지 않았음

- list 형식을 정규표현식을 이용해 슬라이싱 했으나, 완벽하지 않았음

- JSON 형태로 반환하여 일정하게 슬라이싱 완료

---

3. CORS 이슈

- 배포후 에러 발견 초기 안드로이드에서만 동작하지 않았음 (CORS)

- 크롬 실행 후 chrome://inspect 옵션의 개발자도구를 이용해 안드로이드 이용 디버깅

- 디버깅 중 PC에서도 동작하지 않게 된것을 발견 (동일하게 CORS)

- 원인 분석은 되지 않았지만, AWS API Gateway에서 해당 메서드의 CORS를 활성화 후 재배포하여 해결

---

4. 일관적인 답변 위한 프롬프트 엔지니어링

- chat GPT 의 답변은 토큰 하나하나에 따라 다르게 출력된다.

- 일관적인 답변을 위한 프롬프트 엔지니어링 필요

- 사용한 GPT3.5-turbo 모델의 hyper parameter 값 수정하여 해결 

 

---

 

 

런칭 및 홍보

Business model :
카카오애드핏, 쿠팡파트너스

 

홍보 마케팅 :
오픈카톡, 인스타(챌린지,릴스), 유튜브 쇼츠, 블로그

 

---

 

소감

 

ChatGPT를 이용해 서비스를 만드는건, 그냥 API 붙여쓰면 되는게 아니였다.

 

생각보다 많은 노력이 필요하고,

 

추가로 ChatGPT를 이용해 비즈니스모델을 갖춘 서비스를 제공하기 위해서는

 

ChatGPT의 단점인 실시간성,정확도 를 보완하는데에도 많은 노력이 필요할 것으로 생각된다.

 

 

---

 

끝