漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

TextDeformer:使用文本引导进行几何形变

talkingdev • 2023-04-28

1470910 views

该研究介绍了一种技术,可以根据文本提示自动变形三角网格,利用可微分渲染和预训练图像编码器,如CLIP和DINO。通过使用雅可比矩阵进行网格变形表示,该方法实现了平滑变形,并避免了噪声梯度,从而实现了大的形状变化和细节,同时保持了所有3D视角的一致性。 ## 要点 - TextDeformer使用文本提示自动变形三角网格。 - 该方法利用可微分渲染和预训练图像编码器,如CLIP和DINO。 - 使用雅可比矩阵进行网格变形表示,方法实现了平滑变形,并避免了噪声梯度。