세균맨

Motivation: 일 하기 싫어.일을 하기 뒤지게 싫었던 적이 있지 않은가? 학생 때 공부를 하다가 메뚜기처럼 계속 자리를 뜬 적이 있지 않은가? 보통 이럴 때, 새로운 노트를 사거나 키보드를 새로 들이거나 하면 한 일주일 정도를 집중력을 부스트 해서 일하거나 공부할 수 있었었다. 하지만, 매번 키보드를 바꾸거나 장비에 돈을 쓸 수는 없는 노릇. 이 글에서는 (1) 장비를 바꾸는것과 유사한 효과---작업 환경 변화에 의한 집중력 향상---를 가지면서도, (2) 저렴한 비용(0원)이 들며, (3) easy-to-implement (즉시 실행 가능) 한 방법론인 Vscode 특이테마 전환을 소개한다. 그 중에서도, SynthWave-like, Cyberpunk 타입의 테마를 소개한다.주의:오래 작업하면 ..

ICML2024; OralMotivation: the limitation of the MHA (Multi-Head-Attention)MHA는 Dimension 이 head의 수로 나누어지는 특성상 low-rank bottleneck이 생길 수 있다.MHA에서는 head-redundancy가 생길 수 있다. (여러 head들끼리 비슷한 동작을 할 수 있다)결론적으로, 이 문제들을 해소할 vanilla MHA의 훌륭한 대체제를 찾고 싶다.본 논문에서는, 위와 같은 multi-head-attention의 문제를 "attention-score composition"을 통해 풀고자 한다. 논문에 걸쳐 어떻게 attention-score composition이 위 문제에 도움이 될 수 있는지를 설명하고, 어떤 방식..

Arxiv Link Contributions: propose a novel architecture which possibly be better MLP-alternative, having surely better interpretability and probably better accuracy. the new architecture has opened up the possibility of learning activation function itself instead of the traditional approach of learning weights.Background: Kolmogorov Arnold Representation theoremMachine learning에서, MLP는 일반적으로 univ..

Intro서순라길의 묘미는 야장인듯 하다. 그게 되게 열받기도 한데, 이런 좋은 날씨에 여기서 야장을 찾으려면은 밖에서 종일을 서있어야 되더라. 야장은 포기하자... 라고 생각하며 길을 걷고 있다가 발견하게 된 것이 여기, 지미스모크하우스 이다. 스모크햄이 자랑이라나 뭐라나. 나는 아무렇게나 들어가서 몰랐지만, 큰 장점중 하나는 네이버예약을 받는다는 것. 서순라길에서 웨이팅 70팀 같은건 흔한 일이니 이것은 몹시 귀한하다. 이런걸 먹었다 픽 1번 양송이 트러플 크림 "딸리아뗄레". 딸리아뗄레가 뭔지도 모르겠는데, 찾아보니 파스타면의 한 종류인듯 하다. 칼국수스럽달까? 몇번 비비다보면 아주 강한 트러플향이 느껴지는데, 크림에서 저런 검은 점박이 있는것으로 보아 트러플오일을 붓고 "트러플 something"..

ACL 2023. 이긴 하지만 아카이브에는 2022에 올라왔음.Super-simple backgroundRAG (Retrieval Augmented Generation) is commonly used to complement the hallucination of LLMs.to find the proper documents (here, we call target document) for given queries, the "contriever" is used.the contriever can be an text-encoder model such as T5 or BERT.the target document can be searced with the encoded feature by the contriever ..

Here I introduce the generalization error bound of the Domain generalization problem, which is the test domain—or style, sometimes—differs from the training domain.PreliminariesNotations$X \in \mathcal{X} \subset \mathbb{R}^d, Y\in \mathcal{Y} \subset \mathbb{R}$ : Common input and target space$P^i_{XY}$: Data distribution of the i'th domain$S^i\sim P^i_{XY}$: Samples for the i'th domain$\epsilo..

ICLR2023 Notable top 25% (10/8/8/5), Stable diffusion 3Motivation어떤 data-distribution 에서 simple-distribution (e.g. standard gaussian) 으로 변화하는 path (e.g. forward-diffusion process) 를 좀 더 잘 정의해서, 그것의 inverse (image generation via the diffusion model) 또한 더 잘 되도록 하고싶다 Simple diffusion process (adding a “simple“ gaussian noise) leads to rather confined space of sampling probability paths. (라고 표현하고 있는..

얘는 꽤 예전에 notion에서 작성한걸 옮겨온것.. Contributions Protein sequence 데이터 만으로, 간단한 langauge modeling task를 통해서 protein structure를 예측한다. ESM-2—최대 15B의 파라미터—는 single protein sequence만으로 atomic-resolution structure prediction이 가능하며, language model의 크기가 증가할 수록 더 outperform하게 됨을 관측했다 (Scalability). 비슷한 sequence에서 initial structure를 위한 template, co-evolution 정보를 위한 MSA를 사용하는 AF2, RoseTTAFold 와는 다르게, 오직 languag..

특 장점- 보틀 하나를 시키면, 와인 3잔을 무료 테이스팅 하게 해준다. 최고, 최고의 특장점 (Figure 1)- (개인적으로 몹시 고평가하게 되는 요소) 포트와인을 판다. 물론, 한 종류밖에 없지만.- 뭔가 엔틱한 분위기랄까, 짙은색 계열의 원목 가구들로 이쁘게 꾸며진 느낌. 이것도 개인적으로 고평가하는 요소.  적당한 장점- 뭔가 굉장히 혜자다. 부담스럽지 않은 와인들로 구성되어 있는듯한. 음식 메뉴도 가격에서 과하게 멋부리지 않았다.- 와인잔에 그림 그릴 수 있음. ㅋ 이런게 그닥이었다- 파스타 간이 안세다. 난 짭짤한게 좋아.- 사장님은 웃음이 많은걸까 무뚝뚝한걸까? 애매하다. 어쩌면 내가 싸가지가 없었던 걸까?    이런걸 먹었다  - (Figure 3) 의 부채살 스테이크. 아마도 이곳의 가..

일상 기록물 00001: 불 d 편함 총량 보존의 법칙과 그 응용에 관하여. --- TL; DR: 몸만 가는 캠핑 너무 좋아. . 캠핑 같은 거 왜 하는 걸까? 춥지 않으려면 불 피워 야하고, 배고프지 않으려면 불 꺼뜨리고 고기 구워야 하고, 씻으려면 분주하게 움직여야 하고... 심지어 나는 캠핑카에서 묵어서 그렇지, 누울 곳 만들려면 또 한참이고. 사람이 하는 것들 중에 일부러 불편함을 찾는 게 몇이나 될까. 고작 해봐야 운동 정도일까? 하지만 운동은 적어도 거기에 보상을 받으니까... 캠핑은 아무것도 없다. 불 피우면 특별한 보상이 있는 게 아니고. 뿌듯하고, 따습고, 그냥 이쁘장한 모닥불 보는 게 전부다. 생각해 보면 사람에겐 "불편함 총량 보존의 법칙" 따위가 있는 게 아닌가 싶다. 캠핑장을 떠나..