[AWS] 노코드 Data 분석 서비스 개발&런칭

 

서론 : 

텍스트 데이터는 현대 사회에서 지속적으로 증가하고 있으며,

 

이를 효과적으로 분석하는 것은 기업부터 연구소, 개인까지 다양한 분야에서 점점더 중요한 과제로 자리잡고 있다.

 

텍스트 데이터 분석을 통해서 우리는 소비자 피드백, 소셜 미디어 등의 다양한 정보에서 인사이트를 얻을 수 있다.

 

매체	얻을 수 있는 데이터	데이터 분석 후 인사이트
모바일앱	평점, 댓글, 버그리포트, 소셜피드백	- 사용자 경험 개선 - 버그 및 문제점 식별 - 기능 개발방향 설정 - 마케팅 및 사용자 참여
유튜브	영상설명, 댓글, 제목, 태그	- 콘텐츠 종류의 인기 분석 - 시청자 참여도 및 반응 - 타켓 분석  - SEO 최적화 - 마케팅 및 광고 전략
온라인 몰 (쿠팡)	리뷰, 제품설명 , Q&A, 피드백, 문의사항	- 고객 만족도 및 제품 품질 - 트렌드 분석 - 고객 서비스 개선 - 마케팅 전략 수립

 

이 과정들을 Python 을 이용하여 데이터 수집과 정제에서부터 시각화까지의 여정이 너무도 험난하여 노코드&원스탑으로 수행할 수 있는 솔루션을 개발하고자 했다.

 

---

 

Goal : 

- DATA101 : 코드 한 줄 없는 BIGDATA 분석 솔루션

 

www.data101.io 

React App

 

- 크몽에 크롤링 상품 개시

https://kmong.com/gig/582649

유튜브 댓글 원하는 만큼 수집해 드립니다/웹 크롤링 - 크몽

 

 

기능 :

• 텍스트 데이터 크롤링 및 저장 (Google playstore / Youtube)

 

 

• 시각화 도구와 결과 해석 (워드클라우드, 키워드분석, 키워드연결망)

 

기술 : 

AWS 서버리스로 해당 서비스를 구현

AWS
S3	데이터 저장, 정적웹 호스팅
Lambda	각 기능별 서버리스 구동
DynamoDB	사용자정보, 이벤트 저장
ECR	서버리스 Docker 구동 위함
SQS	요청을 FIFO로 Lambda로 전달 위함
CloudWatch, Securityhub	보안설정
Route53, APIGW, Cloudfront, Certificate	배포위함

 

중간에 AWS 해킹을 당해서 예상치 못한 과금이 발생한 이슈가 있었다.

아래 포스팅 참고

https://dbstndi6316.tistory.com/407

AWS 계정 해킹 후기 (진행중)

 

 

업데이트 예정인 내용 : 

- 각 기능별 고도화 (크롤링 건수, 시각화 심미성)

- AI 모델링 (언어모델 BERT 이용한 추론)

- ChatGPT 를 이용한 인사이트 도출