CLIP
CLIP论文地址：Learning Transferable Visual Models From Natural Language Supervision (ICML 2021)
特点
利用自然语言的监督信号，将文字的语义和图片的语义联系在了一起，是一个多模态的模型
迁移效果非常好，能进行z...
Classic Deep Network
ResNet加深神经网络不一定带来更好的结果。对于Non-nested function classes来说，由于学习偏差，更大的模型可能离最优点更远了。我们希望更大的模型严格包含小的模型，即nested function classes。ResNet的motivation就是想解决这个问题。...
Diffusion Model
论文：Denoising Diffusion Probabilistic Model (DDPM)
DDPM原文阅读OverviewDiffusion Model是一种Markov chain，也就是说t时刻的值只依赖于前一个时刻t-1的值。
逆向过程：$x_T \to x_0$ 从高斯...
Probability
深度学习和概率论有关的知识补漏。
KL Divergence (相对熵) & cross entropy (交叉熵)
Diffusion Models for 3D Generation
Geometry-Free
Novel View Synthesis with Diffusion Models
本文提出了3DiM，一个用于3D新视角合成的扩散模型。3DiM的核心部分是pose-conditional image-to-image diffution model，将so...
SSDNeRF (ICCV 2023)
Notes for “Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction” (ICCV 2023)目录一、摘要二、简介三、相关工作四、背景五、方法六、实验
摘要3D-awar...
Audiovisual Music Performance Analysis
Notes for tutorial “Audiovisual Music Performance Analysis” at ISMIR 2019
Audiovisual Music Performance Analysis可以将这一类研究问题总结成研究听觉-视觉对应性的问题，大致分为下面...
Generating Music with GANs
Notes for tutorial “Generating Music with GANs—An Overview and Case Studies” at ISMIR 2019
音乐生成研究简述音乐制作角度
作曲（songwriting）：旋律，和弦，歌词
编曲（arranging）：...
PyTorch补漏
数据集Dataset
DataLoader
一般来说用数据集训练都是这个流程：
# 创建Dateset(可以自定义)
dataset = face_dataset # Dataset部分自定义过的face_dataset
# Dataset传递给DataLoader
datal...
Numerical Optimization
Notes for Numerical Optimization 2nd, Jorge Nocedal, Stephen J. WrightChapter 1, 2, 3, 14
Chapter 1 简介
连续vs离散：离散优化问题需要考虑完整性约束，未知的参数$x$取自有限（通常非常...