12. URL 기반 AI 웹 크롤링 에이전트

<head>
  <meta charset="UTF-8" />

  <title>URL 하나로 시작하는 AI 웹 크롤링 에이전트 활용법 | 양파고</title>

  <meta
    name="description"
    content="URL과 수집 조건만 입력하면 사이트 구조 분석부터 수집 코드 작성, 엑셀 정리까지 수행하는 AI 웹 크롤링 에이전트 활용법. 설치 방법, 교육부·뉴스·유튜브·네이버 카페 수집 사례와 로그인 처리, 결과 검증, 법적·윤리적 주의사항을 정리함."
  />

  <meta
    name="keywords"
    content="AI 웹 크롤링, 웹 크롤링 에이전트, 데이터 수집 자동화, Claude Code, Codex, Antigravity, Playwright, CDP, 네이버 카페 크롤링, 유튜브 댓글 크롤링, 뉴스 크롤링, 엑셀 자동화, 업무 자동화, 크롤링 주의사항, 양파고, Yang Phago, 노션, notion"
  />

  <link
    rel="canonical"
    href="<https://yangphago.oopy.io/3d162b09-b72b-80d8-b026-c4f4817e2bfd>"
  />

  <meta
    property="og:title"
    content="URL 하나로 시작하는 AI 웹 크롤링 에이전트 활용법"
  />

  <meta
    property="og:description"
    content="URL과 필요한 항목만 입력하면 AI가 사이트를 분석하고 데이터를 수집해 엑셀로 정리함. 설치부터 공공기관·뉴스·유튜브·네이버 카페 실습, 로그인 처리와 안전한 활용 기준까지 확인할 수 있음."
  />

  <meta
    property="og:image"
    content="<https://yangphago.oopy.io/logo.png>"
  />

  <meta
    property="og:url"
    content="<https://yangphago.oopy.io/3d162b09-b72b-80d8-b026-c4f4817e2bfd>"
  />

  <meta property="og:type" content="article" />
  <meta property="og:site_name" content="양파고" />
  <meta property="og:locale" content="ko_KR" />
</head>

<aside> 💡

웹사이트 주소와 필요한 데이터 항목을 입력하면 AI가 사이트 구조를 분석함
분석한 구조에 맞춰 수집 코드를 작성하고 데이터를 정리함

[장점]수집 결과를 엑셀·PDF·마크다운·HTML 대시보드로 만들 수 있음

</aside>

0.관련 링크 및 깃허브, 설치

0-1. 웹 크롤링의 개념과 필요성

[참고자료]

GitHub 저장소: web-crawler (오픈소스, 자유 사용·수정·재배포 가능)

https://github.com/byungjunjang/web-crawler

해당 깃허브 주소를 클로드 코드나 코덱스, 안티 그래비티 등에 입력 후 해당 깃허브를 현재 폴더에 클론하고, 사용할 수 있게 셋팅해달라고 요청하기
- 핵심 키워드: 클론, 셋팅, 사용준비 테스트

<https://github.com/byungjunjang/web-crawler>

내가 해당 페이지의 Agent를 사용할 수 있도록

-현재 작업폴더에 클론
-사용할 수 있도록 셋팅
-사용준비 테스트를 통해 오류 수정

0-2. 설치과정에서 알게된 점

크롬의 3가지 역할

CDP는 Chrome DevTools Protocol의 약자
- 사람이 Chrome을 직접 실행해 두고 Agent가 크롬 개발자 도구용 조종석에 연결하는 방식
CDP를 사용하는 이유?
CDP의 중요한 장점은 단순히 User-Agent만 Chrome이라고 속이는 것이 아니라, Chrome 자체의 TLS 통신 방식과 브라우저 실행 환경을 사용하기 때문에 보다 우회에 특화되어 있음

chrome과 chromium의 차이?
- Chromium은 자동차의 기본 설계와 엔진
- Chrome은 Google이 그 설계로 완성해 판매하는 자동차

구분	Chromium	Google Chrome
성격	오픈소스 브라우저 프로젝트	Google의 완성형 상용 브라우저
개발 주체	Chromium 오픈소스 커뮤니티와 Google	Google
로고·브랜드	Chromium	Google Chrome
업데이트	배포판이나 사용자가 관리	Google 자동 업데이트 포함
Google 서비스	기본적으로 제한적	계정 동기화 등 Google 기능 통합
자동화 사용	Playwright가 관리하기 편함	실제 사용자 환경 재현에 유리

0-3. 원본 영상

알아서 웹 데이터 긁어오는 AI 에이전트 무료로 나눠드려요. 쿠팡·인스타·네이버 카페까지 긁어옵니다 | Claude Code / Codex 에이전트 활용