instruct-pix2pix

🎉

ControlNet1.1也支持instruct Pix2Pix了ControlNet 1.1

什么是instruct-pix2pix

不论是文生图还是图生图，我们所用提示语都是用来描述图片中的物体，比如我们想要画面中的男孩戴上棒球帽，我们要加上baseball cap标签。​

那我们是否有办法像你老板指挥你干某件事一样“让Stable Diffusion”干某件事呢？没错，instructPix2Pix干的就是这件事，instruct的翻译就是“指令”。​

比如下面展示的，只需要输入提示“把太阳花变成玫瑰”，那么梵高的画就变成了一些玫瑰，这意味着我们告别了描述年代，进入了“指令年代”​

instructPix2Pix使用了GPT3和Stable Diffusion共同生成训练集，解决了数据来源问题，最后用这些训练集finetune成了一个新模型 ​

❓

但是instructPix2Pix也揭露了他们模型的一些“偏见”，比如倾向认为空乘是女性，医生是男性​

怎么使用instruct-pix2pix

23年1月时候，webui将instruct-pix2pix整合，但是只有用了instructPix2Pix的模型才能使用，模型这里提供了一个：instruct-pix2pix-00-22000.safetensors

可以看见，换成instructPix2Pix模型后，图生图多出了一个参数image CFG scale，由于为了和没有使用instruct的模型兼容，这个参数如果是1，那么久不会使用Instruct，控制这个参数就可以控制指令力度​

51%

49%

比如下面就是让女孩头发变粉色、戴上棒球帽、衣服变绿、戴上太阳镜、变成下雪天的例子，可以看到instructPix2Pix是可以搭配inpaint一起使用的，最后下雪天也给窗户上画上了雪花​

43%

57%

52%

48%

instruct-pix2pix​