실거미는 순위를 어떻게 만드나: 다섯 개의 신호, 1분의 갱신

실거미 메인 화면의 순위는 하나의 출처에서 가져오지 않습니다. 매분 다섯 종류의 신호를 모아 하나의 순위로 합칩니다. 이 글은 그 과정을 숨기지 않고 설명합니다.

주 신호와 보조 신호

주 신호는 순위를 직접 만드는 것들입니다. 포털의 급상승 키워드, 구글 트렌드의 한국 급상승 검색어, 그리고 뉴스 헤드라인에서 추출한 키워드가 여기에 들어갑니다. 뉴스 헤드라인의 경우 여러 언론사가 같은 2어절 이상의 표현을 동시에 쓸 때만 후보로 잡습니다. 한 언론사의 단독 표현은 순위가 아니라 기사입니다.

보조 신호는 순위를 흔들지 않고 밀어주기만 합니다. 커뮤니티 인기글과 유튜브 인기 급상승 영상이 그렇습니다. 같은 주제가 주 신호에 이미 있으면 가중치를 더하고, 주 신호에 없으면 순위에 올리지 않습니다. 커뮤니티 하나의 집중된 관심이 전체 순위를 뒤집는 일을 막기 위한 설계입니다. 보조 신호 하나가 줄 수 있는 가중치에는 상한이 있습니다.

같은 이슈를 하나로 묶기

신호마다 같은 이슈를 다른 표현으로 부릅니다. 이름의 순서가 바뀌거나, 조사가 붙거나, 가운뎃점이 들어가거나. 이걸 같은 이슈로 묶지 못하면 하나의 이슈가 순위에 세 번 나옵니다. 실거미는 어절 단위로 겹침을 보되, 한 단어짜리 키워드는 정확히 같을 때만 같은 이슈로 봅니다. '대통령' 한 단어로 서로 다른 이슈를 묶어버리는 실수를 막기 위해서입니다.

1분 갱신과 '진짜' 갱신

순위는 방문자가 있든 없든 서버에서 1분마다 갱신됩니다. 방문이 뜸한 새벽에도 순위가 멈추지 않는 이유입니다. 갱신은 순위만이 아닙니다. 각 키워드의 근거 기사도 최신순으로 다시 고르고, 7일이 넘은 기사는 근거에서 제외합니다. 오래된 기사가 '이유'로 붙어 있으면 순위가 아무리 빨라도 낡아 보이기 때문입니다.

봇은 세지 않습니다

방문 통계에서 크롤러와 봇은 제외합니다. 한때 특정 AI 학습 크롤러가 하루 수천 번 페이지를 긁어 통계가 부풀려진 적이 있었습니다. 지금은 유저에이전트로 걸러내고, 순방문자와 페이지뷰를 따로 셉니다. 숫자가 작아지더라도 진짜 숫자를 보는 쪽이 다음 결정을 바르게 만듭니다.