THM: Content Discovery

Jr Penetration Tester > Introduction to Web Hacking > Content Discovery

 

Content에 대해서 공부할 예정. 파일이 될 수도 있고, 비디오, 사진, 백업이 될 수도 있음. 일반적으로 Manually, Automated, 또는 OSINT 이 세가지로 웹사이트의 content를 파헤칠 수 있다고 함.

 

공개 출처 정보(OSINT, Open Source Intelligence)는 누구나 접근할 수 있는 공개된 출처에서 수집된 모든 정보를 의미함.

 

Manual Discovery

robots.txt 파일

서치 엔진에서 allow, disallow되는 페이지 설정 가능

 

Favicon

브라우저 주소창에 사용되는 아이콘

 

Favicon database

OWASP favicon database - OWASP

 

Sitemap.xml

robots.txt와는 다르게 웹사이트에 있는 모든 주요 페이지의 목록을 구조화된 XML 형태로 제공하는 파일로 빠르게 크롤링하거나 검색 엔진이 웹사이트의 구조를 더 잘 이해할 수 있도록 함.

HTTP Headers

response 헤더에서 취약한 서버 버전 등을 파악할 수 있음.

 

Framework Stack

.. 아직 잘 이해 안감

 

OSINT

Google Hacking / Dorking

구글 고급검색기능

예시	Description
site:naver.com	지정된 웹사이트 주소에서만 결과를 반환함
inurl:admin	URL에 지정된 단어가 포함된 결과를 반환함
filetype:pdf	특정 파일 확장자만 반환함
intitle:admin	제목에 지정된 단어가 포함된 결과를 반환함

 

Wappalyzer

웹사이트가 무슨 기술로 만들어졌는지 분석해주는 툴로, 크롬 확장 프로그램 형식으로 이용 가능. 어떤 사이트가 React로 만들어졌는지, 워드프레스를 쓰는지, 어떤 분석 도구를 사용하는지 등을 확인할 수 있다.

Wayback Machine

웹사이트의 과거 버전을 저장해둔 아카이브로 어떤 사이트의 과거를 확인하고 싶거나 예전 게시물, 삭제된 페이지도 여기서 확인할 수 있다. 

 

 

Github

git: 프로젝트 내 파일 변경 이력 추적하는 버전 관리 시스템으로 팀으로 작업시 어떤 팀원이 어떤 파일을 편집하고 변경했는지 확인 가능. 그리고 변경 작업을 마치면 Commit을 할 수 있고, repository에 push해 다른 사용자들이 변경된 내용을 pull 받아 내 컴퓨터에 반영할 수 있다.

그리고 github은 git을 인터넷 상에서 운영하는 플랫폼으로, github 검색 기능 활용시 기업명이나 웹사이트명을 검색해 해당 대상과 관련된 저장소도 찾을 수 있어 여기서 민감한 정보를 발견할 수도 있음.

 

S3 Buckets

AWS에서 제공하는 저장소로 사용자가 파일, 정적 웹사이트 콘텐츠를 클라우드에 저장하고 HTTP, HTTPS를 통해 접근할 수 있도록 함. 파일 소유자가 접근권한을 설정할 수 있음(public, private, wriatble) 여기서 접근 권한 설정 오류로 공개되면 안되는 파일에 접근될 수 있음

 

주소 형식

http(s)://{name}.s3.amazonaws.com

 

일반적으로 github repository에서 버킷 주소를 추적할 수도 있고, 자동화 도구로 스캔하는 경우도 있음

 

Automated

말그대로 도구를 사용해 자동화한 후, 웹사이트 콘텐츠를 찾아내는 과정. 일반적으로 수백만 개의 요청을 웹 서버에 보낸다고 보면 되는데, 이때 wordlists를 사용한다. (브루트 포스에서도 자주 쓰임)

THM에서는

ffuf, dirb andgobuster 세가지 툴을 이용해 실습을 진행했다.

dirb

 

그럼 이런식으로 검색이 가능함.

 

 

제일 직관적으로 보인건 andgobuster인거 같은데,, fuff가 실무적으로는 가장 자주 쓰인다고 하더라. 

 

fuff에서 쓰인 명령어는 다음과 같다.

ffuf -w /usr/share/wordlists/SecLists/Discovery/Web-Content/common.txt -u http://10.10.140.203/FUZZ

-w: 사용할 워드리스트 경로 (여기서는 common.txt를 사용함)

-u: FUZZ 부분에 워드리스트 단어를 하나씩 넣어 테스트 함

 

 

단, 퍼징 요청은 실제 서비스 중인 서버에는 절대 보내면 안됨. 명심하기