지정된 웹사이트의 내용을 추출하고 읽을 수 있도록 설계된 도구입니다. 이 도구는 HTTP 요청을 보내고 수신된 HTML 콘텐츠를 파싱함으로써 다양한 유형의 웹 페이지를 처리할 수 있습니다.
이 도구는 웹 스크래핑 작업, 데이터 수집 또는 웹사이트에서 특정 정보를 추출하는 데 특히 유용할 수 있습니다.가져오기는 CrewAI의 SSRF 안전 HTTP 헬퍼를 거칩니다. 요청된 URL과 모든 리다이렉트 홉이 사설 및 예약 대역(클라우드 메타데이터 포함)에 대해 검사되며, TCP 연결은 그 검사를 통과한 IP에 고정됩니다.
from crewai_tools import ScrapeWebsiteTool# 실행 중에 찾은 모든 웹사이트를 스크랩할 수 있도록 활성화tool = ScrapeWebsiteTool()# 웹사이트 URL로 도구를 초기화하여,# 에이전트가 지정된 웹사이트의 콘텐츠만 스크랩할 수 있도록 합니다tool = ScrapeWebsiteTool(website_url='https://www.example.com')# 사이트에서 텍스트 추출text = tool.run()print(text)
