StyleNeRF (ICLR 2021)
STYLENERF: A STYLE-BASED 3D-AWARE GENERATOR FOR HIGH-RESOLUTION IMAGE SYNTHESIS Paper | Code
OverviewStyleNeRF: 3D-aware generative model，能在无结构2D图像...
Nvdiffrast
Nvidiffrast 是一个 PyTorch/TensorFlow 库，提供基于光栅化的可微渲染器的高性能原语操作。
Modular Primitives for High-Performance Differentiable Rendering (SIGGRAPH Asia 2020) 项...
StyleGAN系列（1-3）
StyleGANA Style-Based Generator Architecture for Generative Adversarial Networks Paper | Code
OverviewStyleGAN 的图像生成从一个学习得到的常量开始，在每一层卷积层基于 latent c...
3d file format
本文记录了几种常见的3D文件格式，包括：
obj
ply
pcd
OBJOBJ从几何学上定义的文件格式。OBJ文件由一行行文本组成，每行由一两个标记字母，也就是关键字(Keyword)开头，关键字说明这一行是什么数据。
常用的关键字：
v 几何体顶点 (Geometric vertice...
Motion Latent-based Diffusion model
论文：Executing your Commands via Motion Diffusion in Latent Space
Overview任务：根据动作类别/文本描述条件输入，生成人体运动的序列。
难点：
人体运动非常多样，而且人体运动的分布和作为条件的模态（比如文本）的分布非常不...
Stable Diffusion以及一些延申
本文介绍了Stable Diffusion背后的原理（LDM），模型的微调方法（LoRA），以及一篇2023年的text-to-image工作（ControlNet）。
LDM
论文：High-Resolution Image Synthesis with Latent Diffusion M...
3DMM & EG3D & Next3D
3DMM
参考文章
核心思想人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。
人脸的基本属性包括形状和纹理，每一张人脸...
3D Gaussian Splatting (SIGGRAPH 2023 Best Paper)
Notes for paper: 3D Gaussian Splatting for Real-Time Radiance Field Rendering
简介问题无边界、完整的场景的高分辨率（1080p）实时（$\geq$ 30 fps）渲染。
key idea
从相机校准过程中产生的稀...
NeRF Baking: SNeRG, Instant-NGP and MERF
NeRF baking指的是生成加速的数据结构的模型的过程。
参考视频
SNeRG (2021)key idea：把NeRF模型bake到一个稀疏网格模型Sparse Neural Radiance Grid，从而加速渲染
Defered NeRF Model
基于JAXNeRF模型，采样...
CLIP
CLIP论文地址：Learning Transferable Visual Models From Natural Language Supervision (ICML 2021)
特点
利用自然语言的监督信号，将文字的语义和图片的语义联系在了一起，是一个多模态的模型
迁移效果非常好，能进行z...