TIL - 231025

LoRA

논문

LoRA: Low-Rank Adaptation of Large Language Models

메모리를 적게 사용하면서 대규모 모델의 미세 조정을 가속화하는 기술

 

보다 효율적인 미세 조정을 위해 LoRA의 접근 방식은 저순위 분해를 통해 두 개의 작은 행렬(업데이트 행렬이라고 함)로 가중치 업데이트를 표현하는 것입니다. 이러한 새로운 행렬은 전체 변경 횟수를 낮게 유지하면서 새로운 데이터에 적응하도록 훈련할 수 있습니다. 원래 가중치 행렬은 고정된 상태로 유지되며 추가 조정을 받지 않습니다. 최종 결과를 생성하기 위해 원래 가중치와 적응 가중치가 모두 결합됩니다.

 

 

Orca 

마이크로소프트사의 GPT-4 대항마

OpenOrca Dataset

• Microsoft의 Orca 논문 내용을 가져다가 오픈소스로 복제하여 만든 것
  • GPT-4 Completion으로 보강된 약 1백만개의 FLANv2
  • GPT-3.4 Completion으로 보강된 약 3.5백만개의 FLANv2

논문

최근의 연구는 Large Foundation Model(LFM)에 의해 생성된 출력을 활용하여 모방 학습을 통해 더 작은 모델의 능력을 향상시키는 데 초점을 맞추고 있습니다.

얕은 LFM 출력에서 제한된 모방 신호, 소규모 동종 훈련 데이터, 특히 엄격하지 않은 것에 이르기까지 많은 문제가 이러한 모델의 품질에 영향을 미칩니다.
평가는 LFM의 추론 과정이 아니라 스타일을 모방하는 것을 배우는 경향이 있기 때문에 작은 모델의 능력을 과대평가하는 결과를 초래합니다.

이러한 과제를 해결하기 위해 LFM의 추론 과정을 모방하는 방법을 학습하는 130억 개의 매개 변수 모델인 Orca를 개발합니다. Orca는 GPT-4의 풍부한 신호로부터 설명 흔적, 단계별 사고 과정 및 ChatGPT의 교사 지원에 의해 안내되는 기타 복잡한 지시 사항을 학습합니다.

 

 

State of AI Report 2023

2023년이 어엿 두달 정도 남았다..(벌써?!)

 

1. GPT-4는 (현재로서는) 고전적인 벤치마크와 인간을 평가하기 위해 고안된 시험 모두에서 다른 모든 LLM을 제치고 조사 대상의 마스터로, 독점 아키텍처와 인간의 피드백을 통한 강화 학습의 힘을 입증하고 있습니다.

2. 더 작은 모델, 더 나은 데이터 세트, 더 긴 컨텍스트를 통해 독점적인 성능을 복제하거나 능가하려는 노력이 증가하고 있습니다. 이러한 노력은 인간이 생성한 데이터로는 몇 년 동안만 AI 확장 추세를 유지할 수 있을 것이라는 우려 속에서 새로운 시급성을 얻을 수 있습니다.

3. LLM과 확산 모델은 특히 생명과학 분야에서 분자생물학 및 신약 개발 분야에서 의미 있는 진전을 이루며 실제 혁신을 계속 주도하고 있습니다.

4. 컴퓨팅은 새로운 석유로, NVIDIA는 기록적인 수익을 내고 있으며 스타트업은 GPU를 경쟁력으로 내세우고 있습니다. 미국이 중국에 대한 무역 규제를 강화하고 칩 전쟁에 동맹국들을 동원하면서 NVIDIA, Intel, AMD는 수출통제용 칩을 대규모로 판매하기 시작했습니다.

5. 기술 가치 평가가 하락하는 가운데, 생성형 AI 애플리케이션(비디오, 텍스트, 코딩 포함)에 주력하는 AI 스타트업이 VC 및 기업 투자자로부터 180억 달러 이상의 자금을 조달하면서 GenAI가 VC 업계를 구했습니다.

6. 안전에 대한 논쟁이 주류로 떠오르면서 전 세계 정부와 규제 당국의 조치가 이어지고 있습니다. 그러나 이러한 활발한 활동의 이면에는 전 세계 정부가 상충되는 접근 방식을 추구함에 따라 AI 커뮤니티 내부의 심각한 분열과 글로벌 거버넌스를 향한 구체적인 진전이 부족하다는 점이 숨겨져 있습니다.

7. 표준 LLM은 종종 견고성에 어려움을 겪기 때문에 최첨단 모델을 평가하는 데 어려움이 많습니다. '분위기 기반' 접근 방식으로는 충분하지 않기 때문에 위험 요소를 고려해야 합니다. 

 

 

EOST (ETRI OPEN SOURCE) 2023

여러 정출연에서 하는 연구들에 대해 자료들 볼 수 있다. 심심할때 구경해보기 @~@

 

 

 

MTEB: Massive Text Embedding Benchmark

MTEB는 다양한 임베딩 작업에서 텍스트 임베딩 모델의 성능을 측정하기 위한 대규모 벤치마크

 

 

Concerns of QA data fine-tuning

https://lilianweng.github.io/posts/2020-10-29-odqa/

 

QA 데이터셋의 train-test dataset을 split할때 질문이 상당히 겹치는 문제가 발생한다.이 이유로 성능이 현저히 떨어진다고..