티스토리

세균맨
검색하기

블로그 홈

세균맨

bayesian-bacteria.tistory.com/m

- 짤랑과 일상 - 이것저것 관찰하기 - 덕업일치를 위한 몸부림: ML

구독자
3
방명록 방문하기
공지 About 모두보기

주요 글 목록

  • (4.5/5.0) 밴건디 스테이크하우스 밴건디 in a nutshell서래마을 초입의 -로칼-스테이크 집: 근처사는 가족단위 손님이 대부분인 편임.합리적인 가격: 울프강을 생각하다 보니, 이게 혜자라고 생각이 들어 버린다."맛"집: 로메인 샐러드가 매우 맛있다. 한입에 로메인 한장 가득 넣으면 죽것다. 티본스테이크의 "안심"이 충격이다. 맛있음.Rating: 4.5 / 5.0입구 발렛 차량을 왜 창문 옆에다 붙여두는걸까? 밖이 안보임...음식, 스테이크 이전 27만 5천원짜리 2인 세트같은걸 시켰다. 스테이크 이전에 샐러드 + 파스타 하나를 선택할 수 있었음.  로메인 시저 샐러드 + 통베이컨이 일종의 "시그니처" 인듯 한데, 로메인에 김장하듯 시저 샐러드 드레싱을 구석구석 묻히고, 치즈 그라인딩 해서 올리는듯. 로메인이 드레싱을 먹으면서 적.. 공감수 0 댓글수 0 2025. 2. 16.
  • HiRA: parameter efficient Hadamard high rank adaptation for Large Language Models ICLR2025논문의 내용과 상관없이, 제가 이야기해보고 싶은 부분은 이탤릭체로 남깁니다.texts with Italic represent parts that are not the part of the original paper, but rather my personal thoughts or additionsLimitation of the LoRALoRA and most of its variants do not perform well when applied to complex tasks—such as commonsense reasoning.This degradation might be inevitable since the additional trainable parameters are “lower-ran.. 공감수 0 댓글수 0 2025. 2. 11.
  • Design patterns for machine learning in a nutshell (1): Creational Design Pattern Creational design patterns and their motivationCreational design pattern: Instance 생성과 관련된 패턴. 어떤 Instance를 효율적으로 생성하고 관리할 수 있게 한다. Creational pattern은 위 처럼 instance 생성이라는 목적으로 만들어진 것들이다. 그렇다면, 모델 학습 파이프라인 등을 구성하는데에는 어떠한 예시가 있을 수 있을까? Instance 생성이 효과적이고, 직관적으로 되는 케이스가 어떤 것들이 있을까?HuggingFace의 AutoModel 같은 경우를 생각해 보자. 이는 (End-user의 입장에서) 모델 instance를 생성하는 데에 굉장히 편리한 역할을 한다: AutoModel.from_pretrain.. 공감수 1 댓글수 2 2024. 10. 31.
  • Extracting a secret sauce from Meta MovieGen IntroModern foundation models for image and video generation are often closed-source, with many technical details remaining unavailable to the public—this is especially true for video generation models. (In my view, this closed-source trend is even more pronounced than in the LLM domain.). For example, we know very little, if anything, about the technical specifics behind models like Runway Gen3.. 공감수 11 댓글수 7 2024. 10. 17.
  • [Reels] LCM-Lookahead for Encoder-based Text-to-Image Personalization Summary("Lookahead-loss") During encoder training for models like IP-adaptor, they use single-pass generation models such as the Consistency model to generate noisy images, which are then compared with the reference image to compute an additional loss (LCM-lookahead loss).However, the LCM model can end up optimizing the loss regardless of the input (z_rt below), which could break the alignment b.. 공감수 5 댓글수 2 2024. 10. 15.
  • [Reels] Imagen yourself Link , Personalized text-to-image generation by Meta AIInsightsThey create “architecture tailored for personalization image generation”they design kind of improved IP-adaptor for “any-personality” generation.therefore, the model does not need to be trained for a new subject, unlike LoRA or Dreambooth.meanwhile, other “any-personality generation models” could come with a strong over-fitting behav.. 공감수 1 댓글수 0 2024. 10. 15.
  • Vision transformers need registers 이 포스트는 Academic-reels와 특집 어딘가에 있는... shorts는 아니지만 그렇다고 10분짜리 비디오도 아닌 그런 구성입니다. 정리본 같은 거랄까요되게 Scientific 하게 잘 쓰인 논문입니다. 점수가 매우 높아요. 흥미로운 가설을 설정했고, 가설을 support 하는 좋은 관측들을 했고, 그에 따른 simple-but-effective 한 방법을 제시합니다. 글도 매우 잘 써진 것 같고요.별 5.FAIR, Meta, ICLR 2024 OralObjective and motivation(Our objective) Vision transformer의 마지막 attention layer를 visualize 해보면, 위와 같은 “abnormal patch“ 가 보인다 (semantically.. 공감수 1 댓글수 1 2024. 8. 23.
  • (3.8/5.0) 몽중식: "진짜" 경험팔이 가게 경험팔이사실 요즘 동네 주변이나 회사 주변 말고 밥집이든 지나가던 잡화상 (매우 예스럽게 말하자면) 이든, 가게들을 돌아다니다 보면 이게 뭔가 해당 가게의 본질---맛있는 음식, 유용하거나 이쁜 물건들---과는 벗어나서, 그냥 놀이나 경험을 판다는 생각을 하게 만드는 경우가 많다. 뭐 다들 한 번쯤은 생각하겠지만,,, 성수동에서의 실제로 살 물건이 있는건 아니지만 신기해서 들어가 보는 팝업스토어라던지, 귀여운 물건들을 보고 와 굉장히 귀엽다라고 말하고서는 사지 않고 뒤돌아서는 소품샵들이라던지 (이거 정말로 궁금한 건데, 소품샵에서의 실구매율은 얼마나 될지 다른 업종들과 비교해서 측정해보고 싶다). 사실은 피시방에서 끓여 먹는 짜계치가 더 맛있지만 평소에 먹어보지 못한 맛과 멋좀 부리려고 가는 다이닝이나-.. 공감수 2 댓글수 1 2024. 8. 20.
  • [Reels] Battle of the Backbones: A large-Scale Comparison of pre-trained models across computer vision tasks NeurIPS 2023, Arxiv Link What they didThey propose "Battle-of-the-Backones"(BoB), benchmarking a diverse suite of (vision) pre-trained models, including classic ImageNet-trained CNN, vision-language models (perhaps CLIP). The target tasks are OOD-generalization, classification, object-detection and Image retrieval.Key observationswith more than 1,500 training runs, they found that CNN pretrained.. 공감수 1 댓글수 1 2024. 8. 20.
  • 메타분석 시리즈: Loss re-weighting before and after the era of LLMs 들어가며딥러닝 연구에서, 다양한 문제들이 기존 loss-function에 sample별로 특정 weight를 부과하는 방법 (Loss-reweighting)으로 풀어져 왔었다. 직관적으로 생각했을 때, 이러한 방식은 "어떤 샘플들을 중점적으로 학습시켜야 하는가?"라는 식의 물음이 이어지는 문제를 풀어내는 도구가 될 수 있었다. 따라서 저런 물음이 많이 나오게 되는 Domain-generalization 문제---어떤 데이터 도메인 (e.g. 그림, 사진, 선화, 애니메이션)을 중점적으로 학습시킬까?---, multi-task 문제---여러 task를 동시에 푸는 모델이 어떤 task (depth estimation, object-detction, segmentation)를 중점적으로 학습해야 할 까?,I.. 공감수 1 댓글수 2 2024. 8. 13.
  • VScode 특이 테마로 기분전환 때리기 Motivation: 일 하기 싫어.일을 하기 뒤지게 싫었던 적이 있지 않은가? 학생 때 공부를 하다가 메뚜기처럼 계속 자리를 뜬 적이 있지 않은가? 보통 이럴 때, 새로운 노트를 사거나 키보드를 새로 들이거나 하면 한 일주일 정도를 집중력을 부스트 해서 일하거나 공부할 수 있었었다. 하지만, 매번 키보드를 바꾸거나 장비에 돈을 쓸 수는 없는 노릇. 이 글에서는 (1) 장비를 바꾸는것과 유사한 효과---작업 환경 변화에 의한 집중력 향상---를 가지면서도, (2) 저렴한 비용(0원)이 들며, (3) easy-to-implement (즉시 실행 가능) 한 방법론인 Vscode 특이테마 전환을 소개한다. 그 중에서도, SynthWave-like, Cyberpunk 타입의 테마를 소개한다.주의:오래 작업하면 .. 공감수 0 댓글수 0 2024. 7. 12.
  • Improving Transformers with Dynamically Composable Multi-Head Attention ICML2024; OralMotivation: the limitation of the MHA (Multi-Head-Attention)MHA는 Dimension 이 head의 수로 나누어지는 특성상 low-rank bottleneck이 생길 수 있다.MHA에서는 head-redundancy가 생길 수 있다. (여러 head들끼리 비슷한 동작을 할 수 있다)결론적으로, 이 문제들을 해소할 vanilla MHA의 훌륭한 대체제를 찾고 싶다.본 논문에서는, 위와 같은 multi-head-attention의 문제를 "attention-score composition"을 통해 풀고자 한다. 논문에 걸쳐 어떻게 attention-score composition이 위 문제에 도움이 될 수 있는지를 설명하고, 어떤 방식.. 공감수 0 댓글수 0 2024. 7. 9.
  • Komolgorov-Arnold Network (KAN) Arxiv Link Contributions: propose a novel architecture which possibly be better MLP-alternative, having surely better interpretability and probably better accuracy. the new architecture has opened up the possibility of learning activation function itself instead of the traditional approach of learning weights.Background: Kolmogorov Arnold Representation theoremMachine learning에서, MLP는 일반적으로 univ.. 공감수 0 댓글수 1 2024. 6. 11.
  • (3.0/5.0) 서순라길 - 지미스모크하우스 Intro서순라길의 묘미는 야장인듯 하다. 그게 되게 열받기도 한데, 이런 좋은 날씨에 여기서 야장을 찾으려면은 밖에서 종일을 서있어야 되더라. 야장은 포기하자... 라고 생각하며 길을 걷고 있다가 발견하게 된 것이 여기, 지미스모크하우스 이다. 스모크햄이 자랑이라나 뭐라나. 나는 아무렇게나 들어가서 몰랐지만, 큰 장점중 하나는 네이버예약을 받는다는 것. 서순라길에서 웨이팅 70팀 같은건 흔한 일이니 이것은 몹시 귀한하다. 이런걸 먹었다 픽 1번 양송이 트러플 크림 "딸리아뗄레". 딸리아뗄레가 뭔지도 모르겠는데, 찾아보니 파스타면의 한 종류인듯 하다. 칼국수스럽달까? 몇번 비비다보면 아주 강한 트러플향이 느껴지는데, 크림에서 저런 검은 점박이 있는것으로 보아 트러플오일을 붓고 "트러플 something".. 공감수 0 댓글수 0 2024. 5. 6.
  • [Reels] HyDE (Hypothetical Document Embedding) ACL 2023. 이긴 하지만 아카이브에는 2022에 올라왔음.Super-simple backgroundRAG (Retrieval Augmented Generation) is commonly used to complement the hallucination of LLMs.to find the proper documents (here, we call target document) for given queries, the "contriever" is used.the contriever can be an text-encoder model such as T5 or BERT.the target document can be searced with the encoded feature by the contriever .. 공감수 0 댓글수 0 2024. 5. 2.
  • [Reels] The simple theoretical background of Domain generalization Here I introduce the generalization error bound of the Domain generalization problem, which is the test domain—or style, sometimes—differs from the training domain.PreliminariesNotations$X \in \mathcal{X} \subset \mathbb{R}^d, Y\in \mathcal{Y} \subset \mathbb{R}$ : Common input and target space$P^i_{XY}$: Data distribution of the i'th domain$S^i\sim P^i_{XY}$: Samples for the i'th domain$\epsilo.. 공감수 0 댓글수 0 2024. 4. 30.
  • Flow matching for generative modeling ICLR2023 Notable top 25% (10/8/8/5), Stable diffusion 3Motivation어떤 data-distribution 에서 simple-distribution (e.g. standard gaussian) 으로 변화하는 path (e.g. forward-diffusion process) 를 좀 더 잘 정의해서, 그것의 inverse (image generation via the diffusion model) 또한 더 잘 되도록 하고싶다 Simple diffusion process (adding a “simple“ gaussian noise) leads to rather confined space of sampling probability paths. (라고 표현하고 있는.. 공감수 5 댓글수 0 2024. 4. 24.
  • ESMfold: Language models of protein sequences at the scale of evolution enable accurate structure prediction 얘는 꽤 예전에 notion에서 작성한걸 옮겨온것.. Contributions Protein sequence 데이터 만으로, 간단한 langauge modeling task를 통해서 protein structure를 예측한다. ESM-2—최대 15B의 파라미터—는 single protein sequence만으로 atomic-resolution structure prediction이 가능하며, language model의 크기가 증가할 수록 더 outperform하게 됨을 관측했다 (Scalability). 비슷한 sequence에서 initial structure를 위한 template, co-evolution 정보를 위한 MSA를 사용하는 AF2, RoseTTAFold 와는 다르게, 오직 languag.. 공감수 0 댓글수 1 2024. 1. 1.
  • (3.0/5.0) 상도동 프렌밀리 특 장점- 보틀 하나를 시키면, 와인 3잔을 무료 테이스팅 하게 해준다. 최고, 최고의 특장점 (Figure 1)- (개인적으로 몹시 고평가하게 되는 요소) 포트와인을 판다. 물론, 한 종류밖에 없지만.- 뭔가 엔틱한 분위기랄까, 짙은색 계열의 원목 가구들로 이쁘게 꾸며진 느낌. 이것도 개인적으로 고평가하는 요소.  적당한 장점- 뭔가 굉장히 혜자다. 부담스럽지 않은 와인들로 구성되어 있는듯한. 음식 메뉴도 가격에서 과하게 멋부리지 않았다.- 와인잔에 그림 그릴 수 있음. ㅋ 이런게 그닥이었다- 파스타 간이 안세다. 난 짭짤한게 좋아.- 사장님은 웃음이 많은걸까 무뚝뚝한걸까? 애매하다. 어쩌면 내가 싸가지가 없었던 걸까?    이런걸 먹었다  - (Figure 3) 의 부채살 스테이크. 아마도 이곳의 가.. 공감수 0 댓글수 1 2023. 12. 29.
  • (몸만 가는) 캠핑에 관하여 일상 기록물 00001: 불 d 편함 총량 보존의 법칙과 그 응용에 관하여. --- TL; DR: 몸만 가는 캠핑 너무 좋아. . 캠핑 같은 거 왜 하는 걸까? 춥지 않으려면 불 피워 야하고, 배고프지 않으려면 불 꺼뜨리고 고기 구워야 하고, 씻으려면 분주하게 움직여야 하고... 심지어 나는 캠핑카에서 묵어서 그렇지, 누울 곳 만들려면 또 한참이고. 사람이 하는 것들 중에 일부러 불편함을 찾는 게 몇이나 될까. 고작 해봐야 운동 정도일까? 하지만 운동은 적어도 거기에 보상을 받으니까... 캠핑은 아무것도 없다. 불 피우면 특별한 보상이 있는 게 아니고. 뿌듯하고, 따습고, 그냥 이쁘장한 모닥불 보는 게 전부다. 생각해 보면 사람에겐 "불편함 총량 보존의 법칙" 따위가 있는 게 아닌가 싶다. 캠핑장을 떠나.. 공감수 0 댓글수 0 2023. 12. 10.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.