Motivation: 일 하기 싫어.일을 하기 뒤지게 싫었던 적이 있지 않은가? 학생 때 공부를 하다가 메뚜기처럼 계속 자리를 뜬 적이 있지 않은가? 보통 이럴 때, 새로운 노트를 사거나 키보드를 새로 들이거나 하면 한 일주일 정도를 집중력을 부스트 해서 일하거나 공부할 수 있었었다. 하지만, 매번 키보드를 바꾸거나 장비에 돈을 쓸 수는 없는 노릇. 이 글에서는 (1) 장비를 바꾸는것과 유사한 효과---작업 환경 변화에 의한 집중력 향상---를 가지면서도, (2) 저렴한 비용(0원)이 들며, (3) easy-to-implement (즉시 실행 가능) 한 방법론인 Vscode 특이테마 전환을 소개한다. 그 중에서도, SynthWave-like, Cyberpunk 타입의 테마를 소개한다.주의:오래 작업하면 ..
ICML2024; OralMotivation: the limitation of the MHA (Multi-Head-Attention)MHA는 Dimension 이 head의 수로 나누어지는 특성상 low-rank bottleneck이 생길 수 있다.MHA에서는 head-redundancy가 생길 수 있다. (여러 head들끼리 비슷한 동작을 할 수 있다)결론적으로, 이 문제들을 해소할 vanilla MHA의 훌륭한 대체제를 찾고 싶다.본 논문에서는, 위와 같은 multi-head-attention의 문제를 "attention-score composition"을 통해 풀고자 한다. 논문에 걸쳐 어떻게 attention-score composition이 위 문제에 도움이 될 수 있는지를 설명하고, 어떤 방식..
- Total
- Today
- Yesterday
- flowmatching
- LLM
- multiheadattention
- 프렌밀리
- diffusion
- MachineLearning
- ICML
- DeepLearning
- icml2024
- vscode
- loss-weighting
- 몽중식
- Transformer
- generativemodeling
- deeplearning4science
- domaingeneralization
- Theme
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |