LLM
[TIL] 최근의 IT AI 이슈 정리_금융LLM, 딥페이크 보호, 일론머스크 Grok1.5
대규모 언어 모델은 '2년 안에 금융 부문에 혁명을 일으킬 수 있다'? 앨런 튜링 연구소의 연구에 따르면 대규모 언어 모델(LLM)은 사기 탐지, 금융 인사이트 생성, 고객 서비스 자동화를 통해 금융 부문의 효율성과 안전성을 향상시킬 수 있는 잠재력을 가지고 있습니다. 연구진은 문헌 조사와 함께 주요 하이스트리트 및 투자 은행, 규제 기관, 보험사, 결제 서비스 제공업체, 정부 및 법률 전문가 43명을 대상으로 워크숍을 개최했습니다. 워크숍 참가자의 대다수(52%)는 회의록 관리부터 사이버 보안 및 규정 준수 인사이트에 이르기까지 정보 지향적 업무의 성과를 높이기 위해 이미 이 모델을 사용하고 있으며, 29%는 비판적 사고력을 높이기 위해, 나머지 16%는 복잡한 업무를 세분화하는 데 이 모델을 사용하고..
[NLP] Adversarial Attacks on LLMs (LLMs 대한 적대적공격)
Adversarial Attacks on LLMs https://lilianweng.github.io/posts/2023-10-25-adv-attack-llm/ Adversarial Attacks on LLMs The use of large language models in the real world has strongly accelerated by the launch of ChatGPT. We (including my team at OpenAI, shoutout to them) have invested a lot of effort to build default safe behavior into the model during the alignment proces lilianweng.github.io LL..
TIL 231124 - 잘 명령하기: 프롬프트 엔지니어링, LoRA: 비용 줄이기
https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api Best practices for prompt engineering with OpenAI API | OpenAI Help Center How to give clear and effective instructions to GPT-3 and Codex help.openai.com OpenAI API를 활용한 프롬프트 엔지니어링 예제들 https://discuss.pytorch.kr/t/llm-the-developers-guide-to-production-grade-llm-apps/2919?utm_source=geeknews 상용 수준의..
TIL - 231107 한국어 오픈소스 언어모델 LLM 탐구하기
한국어 오픈소스 대화 모델 고려대 KULLM 구름 https://github.com/nlpai-lab/KULLM GitHub - nlpai-lab/KULLM: ☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM ☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM. Contribute to nlpai-lab/KULLM development by creating an account on GitHub. github.com KoAlpaca https://github.com/Beomi/KoAlpaca GitHub - Beomi/KoAlpaca: KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델 KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델. Cont..
TIL - 231025
LoRA 논문 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 메모리를 적게 사용하면서 대규모 모델의 미세 조정을 가속화하는 기술 보다 효율적인 미세 조정을 위해 LoRA의 접근 방식은 저순위..