크롤러 개발 + 서버 구축 풀서비스안녕하세요. 클라이언트부터 서버(클라우드)까지 모두 가능한 풀스택 개발자입니다.“필요한 걸 정확히, 확실하게” 개발합니다.EXE만 던져주는 일회성 개발? NO! 주석까지 친절히 달린 소스 제공 + 지속 관리 지원!직접 소스를 관리하고 싶다면?제가 친절히 안내해 드려, 내 프로그램을 내 손으로 다룰 수 있게 만들어 드립니다. 서비스 제공 내용 1. 크롤러 / 스크래퍼 개발- 지정된 사이트에서 데이터 수집- URL당 최대 5,000건 제공- 필요한 데이터 포맷으로 변환 제공 (엑셀, CSV, JSON 등) 2. 서버 구축 + 데이터 자동화- AWS / GCP 클라우드 서버 세팅- 윈도우 서버 구축 및 관리- 크롤링 정해진 시간마다 메신저 자동 전송 (디스코드, 텔레그램, 슬랙 등) ※ 매일 아침 최신 데이터 보고서가 필요하신 분들께 특히 추천드립니다. 3. 추가 기능 지원- HTTP API 제공 (원격 제어/관리 가능)- DB/NOSQL 저장 옵션 (데이터 중복제거 기능 추가 가능)- 24시간 무중단 크롤링 서버 구축 가능 (장기 운영 최적화) 제공 소스 및 언어- Python / Java / Kotlin / Javascript / Typescript / etc.모두 친절한 주석 포함, 향후 수정 가능성까지 고려한 깔끔한 코드까지! 주요 작업 이력- 유튜브/인스타그램/뉴스 크롤링 자동화- 뉴스 요약/배포 프로그램 운영- 메신저 메크로 및 자동화 프로그램 개발- GCP / AWS 리눅스 서버 구축 및 운영 (Ubuntu, CentOS)- 도메인 구입~SSL 설정까지 전체 인프라 구축- NoSQL 기반 모니터링 시스템 제작- FFmpeg + Tensorflow + GPU 기반 대용량 서버 운영 단순한 “크롤링”이 아닙니다.원하는 데이터 매일 자동 수집 분석용 데이터셋 제공 24시간 서버 운용까지한 번에 모두 해결해드립니다.문의만 주시면, 필요한 것을 정확히 구현해 드리겠습니다. 진행 방식1. 대상 사이트를 알려주세요.2. 원하는 데이터 형태를 구체적으로 설명해주세요.3. 추가 기능이나 관리 옵션도 상담을 통해 맞춤 제작해드립니다.* 장기 운영 희망 시, 클라우드 서버 설계 + 설치 + 최적화까지 풀서비스 지원해드립니다. 준비사항 TIP준비가 어려우시다면 걱정하지 마세요!상담을 통해 하나하나 도출해 나가며 세팅해드립니다.초기 상담은 무료이며, 세부 조건이 확정된 후 작업이 시작됩니다.---------------------------------------------------------------------- 의뢰자님의 준비사항원활하고 빠른 작업을 위해, 아래 내용을 준비해 주세요.1. 크롤링 대상 사이트 정보- 크롤링하려는 사이트 URL- 수집해야 할 데이터 항목 구체적인 목록(예: 제목, 가격, 작성일, 이미지 URL 등)2. 데이터 수집 조건수집 범위 (예: 최근 1개월, 전체, 특정 카테고리 등)중복 제거 여부 (중복 데이터는 제외할지 여부)3. 결과물 형태어떤 포맷으로 받고 싶은지 선택해 주세요. 아래는 예시입니다.- 엑셀(xlsx)- CSV- JSON- 데이터베이스(MySQL, MongoDB 등) 저장- RDS, Supabase 등 클라우드 베이스의 DB도 가능* 어떤 형태든 상관 없습니다.4. 자동화 여부 (선택)1회성 수집인지, 매일/매주 자동으로 수집할 것인지 알려주세요.자동화를 원할 경우 메신저 연동(디스코드/텔레그램/슬랙 등) 여부도 알려주세요.5. 서버 구축 요청 시 추가 정보 (선택)사용할 클라우드 환경 (AWS / GCP / 기타)서버 예상 사용량(일일 데이터량, 예상 트래픽 등)필요한 부가 기능 (예: API 제공, 관리자 페이지 구축 등)6. 기타 특이사항로그인 필요 여부 (아이디/비밀번호 제공 필요)크롤링 차단이 심한 사이트일 경우 별도 대응이 필요할 수 있습니다.