Seongsu

[LIST] 260219 Lab Meeting

4 min read

1. Pipeline for reconstructing QSM with correcting vein artifacts | 박한결

QSM을 하는 알고리즘에서 vein artifact를 지워 보자!

(모델: iLSQR, MEDI, COSMOS, QSMnet) ← mathematical inversion의 instability 때문에 ‘streaking artifact’ 생김?

  • 교수님 질문: COSMOS, QSMnet은 inversion 안하는데 생김…?
    • 답: 여러 다른 문제에 의해 생길 수도 있다는 연구 다수. background field removal 등.
    • misregistration?

Pipeline: segment vessel → vein field fitting → remove vein field

Contribution: 기존 방법과 달리 혈관 주변의 artifact를 지울 수 있다는 장점이 있다.

Validation 관련 Previous Works

  • QSMART

    • 2021 NeuroImage
    • (+) brain boundary에서 artifact 적다
    • (-) 대비가 줄어들고, vein이 만드는 field 자체를 inversion 시 고려 x
    • validation
      • numerical phantom experiment
      • variance in susceptibility vs distance from cortex & vessel
      • .
      • compare with other qsm methods in in-vivo human brain: 가장자리에서 아티팩트 줄었다.
      • → ex-vivo mouse
      • …

  • STAR-QSM

    • susceptibility 큰 경우(뇌출혈 등)에 대해 잘 작동.

  • Superposition QSM

    • (+) regard field from hemorrhage more strictly
    • (-) masking erosion

  • 혈관 합성하고 지우기

    • COSMOS는 혈관 합성했다고 주변 에러는 안 나타남(inversion 없어서?)

  • distance from vein vs variance plot

  • ROI

  • B0 direction

나의 생각

  • 제거할 때 단순히 그냥 remove해도 됨?
  • 바깥부분만 fitting하나?
  • 잘 지우는 게 목표인 건가?
  • 34페이지에서 QSMART 등과는 비교할 필요가 없나?
  • deep brain 쪽 많이 보는 게 contrast가 큰 구조라서 그런가? 혈관의 analogy? 아닌갑네
  • 44페이지 뭘 시사하는지 전혀 보이지 않음 - COSMOS라서 그런지. 근데 딴것도 잘 안 보이네

2. 크몬 | 박한결

미국에 사는 여자친구랑 놀았다고(부럽다!)

3. Solving Image-to-Image Tasks for Brain MRI | 박준하

자연어 instruction 따르는 모델 따르자.

Task: recon. tumor seg. modality conversion. denoising

Model: Stable Diffusion

Data: FastMRI, BraTS2021, BraTS2023 (GLI, MEN), IXI

Preprocession: 정규화: min/max + clipping (0~1) + crop

Methods

  1. VAE fine-tuning
  2. text encoder & u-net fine tuning
  3. instructPix2Pix-style training

결과: 모델이 artificial contrast를 주나?

교수님 질문: instruction을 정말 반영하는가? 그냥 들어온게 2x라서 그런 거 아님?

  • std가 없는 mean은 의미가 없다!

Note

  • 노이즈는 image space에서 준 건가?

4. Counterfactual Lesion Synthesis with MR Foundation Model | 김혁기

자연어기반. → counterfactual task

LLM이 그냥 하면 이상한 걸 뱉기도. → foundation model을 이용하자.

방법: instruction tuning을 먼저 하자.

질문) decoder capacity 질문이 있었다 - CLIP 대비 크기는?

lesion을 자연어로 생성: reasonable + novel

5. Multi-Task Instruction Tuning…

multi-step에서 각각 훈련 vs 한번에?

seg는 DICE score라는 걸 쓰나보네.

alias 주고 seg 시킨 다음 tumor classification 할까?? - denoising해봤자 seg 성능 안올라가나?

그냥 ai한테 full로 맡겨서 몇 등 하는지 봐야겠다!

발표 자료의 모든 글자는 크게 하거나 없애거나

Graph View