챗GPT와 구글 검색엔진의 충돌 - AI 검색과 크롤링 이슈

미래에는 사람들이 정보를 얻기 위해 쓰는 주요 검색 수단 중에는 검색 엔진, AI 챗봇 이 존재할 것입니다. 앞으로는 AI 챗봇이 더욱 주된 수단이 될 것이라는 예측도 나오고 있습니다. AI 챗봇의 발전과 검색의 변화를 함께 정리해 보았습니다. 데이터 접근에 대한 새로운 논의와 웹사이트와 AI 기업 간의 관계, 그리고 앞으로의 검색 트렌드에 대해 정보를 얻어가셨으면 합니다.

 

 

 

AI 챗봇과 검색 엔진: 어떻게 다른가?

AI 챗봇과 검색 엔진은 인터넷의 글이나 이미지 등의 자료를 수집(크롤링)하여 정보를 제공하는 점에서 유사합니다. 그러나 그들이 정보를 전달하는 방식에는 큰 차이가 있습니다.

 

검색 엔진은 사용자를 정보의 원본 사이트로 안내하는 반면, AI 챗봇은 정보를 독립적으로 처리하고 요약하여 직접적인 응답을 제공합니다. 이런 특성 때문에 AI 챗봇이 제공하는 정보가 미디어, 커뮤니티, 지식 플랫폼 등의 생존을 어렵게 만들 수 있습니다.

 

• 검색 엔진 : 사용자에게 정보가 게시된 원본 사이트로 연결
• AI 챗봇 : 정보를 스스로 가공 및 요약하여 직접적인 답변 제공

AI 챗봇과 검색엔진 차이와 전쟁 묘사한 그림

 

예를 들어, GPT-4의 출시 이후 많은 프로그래머들이 AI에 질문을 시작하였고, 이로 인해 프로그래머 커뮤니티인 Stack Overflow의 방문자 수가 크게 감소한 사례도 있습니다. 이는 AI가 기존의 웹사이트의 역할을 대체하고 있다는 사실을 보여줍니다.

 

 

 

 

간단히 말하면, 검색 엔진은 원본 사이트로의 연결을 제공하는 반면, AI 챗봇은 독립적인 답변을 제공하며, 이러한 차이로 인해 기존의 정보 제공 플랫폼들에 변화의 바람이 불고 있습니다.

 

데이터 접근 권한의 문제

AI 챗봇의 학습을 위한 데이터 크롤링이 활발해지면서, 많은 웹사이트들이 크롤링을 차단하기 시작했습니다. 특히 유명 언론사들은 AI 학습과 관련된 크롤링을 차단하고 있다고 합니다. 차단이 많이 된다라는 것은 챗봇 기능의 정확도가 떨어질 수 있습니다.

 

1000개 웹사이트에서 Blocking된 데이터 비교, 출처 : originality.ai

 

2023년 9월 22일 기준으로 Originality.AI의 연구 결과, 전 세계 상위 1000개 웹사이트 중 약 25.9%가 AI 챗봇의 학습을 위한 크롤링을 차단하였습니다. 그리고 이러한 차단하는 웹사이트의 수는 지속적으로 증가하고 있습니다.

 

 

(크롤링 차단 관련 웹사이트 연구)

 

 

 

 

 

 

(크롤링 차단 웹사이트)

 

이 연구는 OpenAI의 GPTBot와 관련하여 세계 상위 1000개 웹사이트의 반응을 분석한 내용을 담고 있습니다. 주요 내용은 다음과 같습니다.

-. 세계 상위 1000개 웹사이트 중 얼마나 많은 사이트가 GPTBot를 차단하고 있는지 분석하였습니다.

-. OpenAI는 2023년 8월 7일에 GPTBot를 차단하는 방법에 대한 세부 정보를 공유했습니다.

 

✅ 주요 결과

상위 1000개 웹사이트 중 25.9%가 GPTBot를 차단하고 있습니다. GPTBot를 차단하는 주요 웹사이트로는 Pinterest, Amazon, Quora, 인디드 등이 있습니다. 대부분의 대형 미디어/뉴스 게시자들도 GPTBot를 차단하고 있습니다.

 

✅ 차단 시작 웹사이트

GPTBot를 처음 차단한 웹사이트로는 Amazon, Quora, NYTimes, Shutterstock, Wikihow, CNN 등이 있습니다.

 

데이터 생산 기업 Vs 검색엔진/AI 챗봇 기업 간의 갈등

데이터를 생산하는 기업들은 자신들의 데이터가 검색엔진이나 AI 챗봇에 의해 활용되는 것을 문제 삼고 있습니다.

• 레딧과 같은 커뮤니티 사이트 - 데이터 활용에 대한 대가를 요구 중
• 𝕏(구 트위터) - 크롤링을 제한하는 등의 조치
• 언론사들 - 구글이나 페이스북과 같은 디지털 플랫폼에 대한 비판을 지속하며, 온라인 뉴스 사용료를 요구 중

챗봇이 검색하는 세상, 크롤링을 제한하는 웹사이트

 

 

 

 

<관련기사 모으기>

국제 기사

• 23andMe notifies customers of data breach into its 'DNA Relatives' feature
• British officials say AI chatbots could carry cyber risks
• Google and Microsoft's AI search chatbots are here, but they aren't without issues
• Emerging Chatbot Security Concerns
• Search engines don't always help chatbot accuracy

국내 기사

• 오픈AI 업은 MS 검색 '빙' 국내 사용자 '쑥'…검색 판도 바꿀까
• “구글, 챗GPT 맞설 AI 챗봇 테스트 중…검색엔진 탑재도 시험”
• 구글 CEO AI 발전은 위협 아닌 기회…검색엔진에 AI 챗봇 추가
• '이용자에 거짓말·모욕·세뇌' AI챗봇 논란…MS 수정 착수(종합)
• 구글 클라우드 실적 부진에 주가 하락
• 검색의 역사 - AI 검색 전쟁

 

 

결론

데이터 접근 권한과 관련된 이슈는 앞으로도 계속될 것으로 보입니다. 데이터 생산 기업과 검색엔진, AI 챗봇 기업 간의 협상과 대화를 통해 미래의 검색 방식과 결과에 어떠한 변화가 생길지 주목해야 할 것입니다.

 

챗GPT 가 검색시장을 점령할 것인가?

 

미래의 검색 방식과 결과는 기술의 발전과 함께 계속해서 변화할 것입니다. 사용자들의 정보 접근 방식과 데이터의 가치에 대한 인식 변화도 이러한 변화를 주도할 것으로 예상됩니다.