인공지능 AI/검색시스템
[NLP/검색/Information Retrieval/아파치] 아파치 솔라 Apache Solr 를 통한 검색 서버 구현 실습
아파치 솔라는 아파치 루씬에 기반을 둔 강력하고, 고성능, 스레드 안전한 검색 서버다. 오픈 소스 엔터프라이즈 검색 서버. 솔라가 제공하는 기능: - 색인 생성, 검색을 위한 쉬운 HTTP 기반의 프로토콜이나 자바 및 PHP, Ruby 등에 대한 클라이언트(Restful API를 사용) - 성능 향상을 위한 고급 캐싱과 복제 - 패싯 브라우징 - 일치 강조(하이라이팅) - 맞춤법 검사 - 분산 검색(NoSQL 데이터베이스) - 아파치 티카를 사용한 콘텐츠 추출 https://kafka.apache.org/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 아파치 설치하기 환경: Mac M1 brew install s..
[NLP/검색/Information Retrieval/아파치] 검색 개념 개론, 정보 검색, 패싯, 색인 생성, 사용자 입력, 순위화, 결과 표시
검색이란 것은 인터넷에서 정보를 검색하거나, sns에서 친구를 찾거나, 텍스트 조각에서 주요 단어를 찾는 일이다. 사용자가 거대한 텍스트 덩어리를 관찰하는 데이터 주도 애플리케이션에서는 특히나 이 검색 기능이 중요하다. 오픈소스를 활용한 검색 도구는 - 유연성, 개발 비용, 가격, 콘텐츠에 대한 이해 - 등의 장점으로 품질이 굉장히 높다. 검색과 패싯: 아마존과 이베이 검색과 패싯은 아마존과 이베이와 같은 온라인 상점의 표준 검색 기능으로 자리잡았다. 만약에 사용자가 방탄소년단 굿즈를 사고 싶다고 하자. 아마존에서 'bts merchandise'를 입력하고 다음과 같은 결과를 받았다고 하자. 당연히 이렇게 일반적인 질의를 입력했기 때문에 원하는 결과가 아니다. 그래서 이제 검색 결과를 좁혀야 한다. 패싯..