한국어 오픈소스 대화 모델
고려대 KULLM 구름
https://github.com/nlpai-lab/KULLM
GitHub - nlpai-lab/KULLM: ☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM
☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM. Contribute to nlpai-lab/KULLM development by creating an account on GitHub.
github.com
KoAlpaca
https://github.com/Beomi/KoAlpaca
GitHub - Beomi/KoAlpaca: KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델
KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델. Contribute to Beomi/KoAlpaca development by creating an account on GitHub.
github.com
테스크마다 다르지만 구름은 말이 좀 길고 코알파카는 짧은 편이라고 한다
https://huggingface.co/TheBloke/Llama-2-70B-GPTQ
TheBloke/Llama-2-70B-GPTQ · Hugging Face
Inference API has been turned off for this model.
huggingface.co
라마2 70B GPTQ버전이 가장 낫다는 평이 많다
https://huggingface.co/garage-bAInd/Platypus2-70B-instruct
garage-bAInd/Platypus2-70B-instruct · Hugging Face
Platypus2-70B-instruct Platypus-70B-instruct is a merge of garage-bAInd/Platypus2-70B and upstage/Llama-2-70b-instruct-v2. Benchmark Metrics Metric Value MMLU (5-shot) 70.48 ARC (25-shot) 71.84 HellaSwag (10-shot) 87.94 TruthfulQA (0-shot) 62.26 Avg. 73.13
huggingface.co
instruct tuning되는 버전
그 밖에 한국어 오픈소스 모델들
https://github.com/NomaDamas/awesome-korean-llm
GitHub - NomaDamas/awesome-korean-llm: Awesome list of Korean Large Language Models.
Awesome list of Korean Large Language Models. Contribute to NomaDamas/awesome-korean-llm development by creating an account on GitHub.
github.com
https://enterprise.kt.com/pd/P_PD_NE_00_316.do
초거대 AI 믿음 | KT Enterprise
KT 초거대 AI 믿:음은 Mindful intelligence that dialogs, empathizes, understands, and moves KT의 초거대 모델은 고객의 생각과 감성을 이해하고, 기억하며, 공감하고 표현하기 위한 AI를 지향하고 있습니다.
enterprise.kt.com
KT에서 공개한 '믿음'
이름부터 믿음이 간다(?)
I'm 믿음이에요...........
https://huggingface.co/KT-AI/midm-bitext-S-7B-inst-v1
KT-AI/midm-bitext-S-7B-inst-v1 · Hugging Face
Inference API does not yet support model repos that contain custom code.
huggingface.co
7B 버전
AI-HUB(https://www.aihub.or.kr/) 의 말뭉치 데이터와 국립국어원 모두의 말뭉치 데이터 (https://corpus.korean.go.kr/) 를 사전 학습 단계에서 이용하였다고 한다.
이번엔 이미지 + 텍스트 멀티모달 모델들을 탐구해봅시댜
LLM에 이미지+텍스트 넣는 대표모델은 Llava, Kollava, Qwen, Fuyu 등이 있다.
https://huggingface.co/spaces/etri-vilab/Ko-LLaVA
Ko-LLaVA - a Hugging Face Space by etri-vilab
huggingface.co
'TIL(Today I Learned)' 카테고리의 다른 글
| TIL 231123 OpenAI 세상 구경하기 (1) | 2023.11.23 |
|---|---|
| TIL 231110 - Mistral 7B, OpenAI Dev day (0) | 2023.11.10 |
| TIL - 231031 (0) | 2023.10.31 |
| TIL - 231027 (0) | 2023.10.27 |
| TIL - 231025 (0) | 2023.10.25 |