10기 멘티 활동 일지_빅데이터(추천)_B302.docx
✔️ 세부 사항
- 서비스 첫 이용자는 기본적인 선호도 조사를 통해 뉴스 기사 추천
- 사용자 선호도 대분류 카테고리 (정치 / 경제 / IT / 스포츠)
- 대분류별 중분류 카테고리 선택
- 사용자의 선호도에 따라 피드에 맞춤 숏폼 형식의 뉴스 기사 제공
- 추천 시스템은 Content-Based Filtering 기법을 이용
- 일정 시간마다 크롤링한 전체 뉴스 데이터를 TF-IDF 처리 하여 키워드 특성 벡터 생성
- 사용자가 좋아요한 뉴스 집합과 전체 뉴스 데이터의 코사인 유사도 분석
- 코사인 유사도를 바탕으로 추천할 리스트 생성
- 분야별 뉴스를 일정 시간마다 크롤링
🙋질문 있어요🙋♂️
-
일정시간마다 새로이 쌓인 뉴스들을 포함한 TF-IDF 벡터를 구하는 과정이 결국에는 전체 문서에 대해 연산을 수행해야 합니다. 상당한 시간이 소요 될것같은데 이것을 더욱 효율적으로 처리할 방법이 있을까요
-
유사도 계산을 통해 추천할 뉴스 기사의 순위를 DB에 저장해두고 요청이 들어오면 순서대로 내보내 주려고 합니다.
일정 시간마다 모든 유저에 대해 각각 좋아요 한 기사를 토대로 계산된 것을 db에 전부 갈아 끼우기 하게 될 것 같은데 더욱 좋은방법이 있을까요.

- 파이썬은 크롤링 데이터 생성 및 콘텐츠 기반 필터링 csv데이터 생성만을 담당하고
스프링 서버에 요청을 보내 만들어진 csv파일을 읽어 db에 저장하도록 하여
스프링서버만 DB에 연결되어있는 방식을 사용하려고 하는데 파이썬서버 또한 DB연결을 해서 연산결과를 바로 DB에 적용하는방식이 나을까요
- 네이버 뉴스를 크롤링하는 과정에서 이미지URL이 크롤링이 잘 안됩니다. 크롤링이 막혀있는지 잘못된 방식으로 접근하고 있는지 궁금합니다.