[재능상품] 오투잡 : 데이터 수집, 파싱, 웹 스크래퍼

 정보

• 업무명     : 오투잡 : 데이터 수집, 파싱, 웹 스크래퍼

• 작성자     : 이상호

• 작성일     : 2020-11-27

• 설   명      :

• 수정이력 :

 

 내용

[개요]

• 안녕하세요? 기상 연구 및 웹 개발을 담당하고 있는 해솔입니다.

• 데이터 수집, 파싱, 웹 스크래퍼를 성실하게 해 드립니다.

• 다년간 축적된 경험 (기상학 학술 보고서 및 국/영문 학술 논문 게재, 블로그 운영, IT 회사 웹 개발 담당) 및 노하우를 바탕으로 개개인에게 맞춤형 솔루션을 수행할 수 있습니다.   
  

• 특히 재능 플랫폼 (크몽, 오투잡, 해피캠퍼스, 레포트 월드)에서 누구보다도 경쟁력 있는 가격으로 양질의 서비스를 제공하고 있습니다. 
  

  • 아스키 형식의 텍스트 (text) 파일부터 과학자료 형식 (HDF, H5, NetCDF, Grib, Grb) 및 Data Base (DB) 자료까지 다양한 형태의 자료를 이용하여 수집, 전처리, 분석, 시각화해 드립니다.  

  • 또한 웹 사이트에 대한 정보를 이용한 웹 크롤링 및 그에 따른 엑셀 및 DB 구축도 가능합니다. 
    

  • 아울러 기초 통계 (빈도분포, Prired t-test, Wilcoxn 등)에서 지도/비지도 학습을 통한 회귀모형 구축에 이르기 까지 효율적인 통계 정보를 제공합니다. 
    

  • 최근 대한민국의 후속위성인 천리안위성 2A호 웹 서비스 서브시스템 및 환경위성 2B호 통합 자료처리 서브시스템에 대한 웹 개발을 수행하였습니다.   
    

• 그리고 해솔 블로그에서는 다양한 기상학/천문학 정보와 더불어 사무 자동화/프로그래밍 언어를 소개하오니 방문 부탁드립니다.
  

• 좋은 하루 보내세요.   
  

• 해솔 올림.

 

 

[업무 내용]

• 단순한 형태의 정적인 웹 페이지 부터 복잡한 구조의 웹 페이지 까지 크롤링 작업을 할 수 있습니다.

   

• 크롤링을 하기 위해 주로 다루는 언어는 Python과 R을 이용하고 있으며 수집해야 할 데이터가 많은 경우 추가적으로   Linux 및 Shell Script를 사용하는 경우도 있습니다.

   

• 상기 언어를 이용하여 단순한 수집 뿐 아니라 사용자가 원하는 형태로 데이터를 전처리 해 주는 작업 역시 같이 해 드리고 있습니다.

   

• 추가적으로 DB 작업이 병행되는 경우에도 이를 효과적으로 처리해 드립니다.

 

[경력 사항]

• 연구원 5년 및 웹 개발자 3년에 대한 연구 과제 및 용역 수행

• 지식iN 프로그래밍 언어 활동 (답변 484개 / 답변채택률 97.1%)

 

 

 

 

 

 

 

 

[사용 OS]

• Linux (CentOS v7.3)

• Windows 10

 

[사용 언어]

• R

• Python

 

[결과물]

• 소스 코드

• 결과 보고서

 

[신청 URL]

[IT개발 - 기타] 데이터 수집, 파싱, 웹 스크래퍼를 해 드립니다. - 재능마켓 오투잡 (otwojob.com)

 

 참고 문헌

[논문]

• 없음

[보고서]

• 없음

[URL]

• 없음

 

 문의사항

[기상학/프로그래밍 언어]

• sangho.lee.1990@gmail.com

[해양학/천문학/빅데이터]

• saimang0804@gmail.com