关于stableDiffusion的摸索我已经到了一个阶段，目前已经明确使用方法了，但我接下来的重点不是stableDiffusion，所以将所有摸索到的stableDiffusion内容集成为一篇内容。

第一篇内容

体验使用AI绘图有两种方式，一种是使用别人开发封装的Mac app，那么你就需要将model转成CoreML格式，格式转换虽然可行，但其实还是非常麻烦的。

建议还是直接上手安装 Web-ui，可以直接使用.safetensors格式的模型而无需转格式。

当然了，得出上面两种结论，是因为我都摸索过，所以两种使用方法我都介绍一下吧。

一、Mac运行 AI绘图App（不建议）

Windows可以直接下载model，使用stableDiffusion提供的软件进行生成。

Mac M1/M2 可以使用Mochi Diffusion

需要将 ckpt模型主动转换成 CoreML ：How to convert CKPT or SafeTensors files to Core ML

可以直接体验的stable Diffusion demo

（一）模型格式转换

参考文档：How to convert CKPT or SafeTensors files to Core ML

总的来说，要分成3个部分：

在 CKPT 转换之前首先转换 SafeTensors 文件
CKPT 转换成 Diffusers
Diffusers 转换成 MLMODELC

悄咪咪：体验下来还是相当麻烦的。

二、安装Web-ui

启动终端
安装brew。【https://brew.sh】(https://brew.sh/)

/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"
安装python终端输入： brew install cmake protobuf rust python@3.10 git wget
拉取Web-ui镜像。 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
下载SD模型：这里有三个模型，网盘链接我放在评论区：
1. v1-5-pruned-emaonly.ckpt，放在： 你的用户名/ stable-diffusion-webui/models/Stable-diffusion.
2. chilloutmix_NiPrunedFp32Fix.safetensors，放在 你的用户名/ stable-diffusion-webui/models/Stable-diffusion. 做女朋友主要是这个模型；
3. koreanDollLikeness_v10.safetensors，放在 你的用户名/ stable-diffusion-webui/models/Stable-diffusion/Lora. 这个模型必备的！；
启动webuicd stable-diffusion-webui然后 ./webui.sh` 等待启动.
如果重新启动，则再次输入 ./webui.sh
其他：可加入VAE处理，让图片调色更好看

WebUI参数介绍

教程：stable diffusion教程入门零基础

（一）实现人物连拍图像效果

锁住随机种子，调整差异强度。

（二）同一个人物替换衣服

其实一个人脸就是一个model，在C站下载的模型，基本都是同一个脸。

方法一：

方法二：

从文档或文件加载提示词。

（三）保存加载后的模型数据

三、模型资源和教程

Mac Web-UI配置教程
1. v1-5-pruned-emaonly.ckpt，放在： 你的用户名/ stable-diffusion-webui/models/Stable-diffusion.
2. chilloutmix_NiPrunedFp32Fix.safetensors，放在 你的用户名/ stable-diffusion-webui/models/Stable-diffusion. 做女朋友主要是这个模型；
3. koreanDollLikeness_v10.safetensors，放在 你的用户名/ stable-diffusion-webui/models/Stable-diffusion/Lora. 这个模型必备的！；
C站图片参数获取

附录

执行python命令时候，如果报错：

ModuleNotFoundError: No module named ‘PySimpleGUI’

继续执行 pip install PySimpleGUI 就可以了。

第二篇内容

（一）为什么要做虚拟人？虚拟人还有没有市场？

底层逻辑：这个时代的人，喜欢虚拟的人多一些。
知识分子都喜欢抽象的事物，所以是有市场的。

（二）要吸引男粉还是女粉？

首先，从性吸引上来说，目前男性普遍处于不被女性待见的弱势情况，且男性相比女性，更”色”。

所以，吸引男粉会容易的多。

（三）吸引男粉，变现问题怎么解决？

男粉的变现能力确实非常弱，但男的都逃不过一个字”色”。

可以以”色”为突破口，让男性付费。

（四）短期和长期规划

1. 短期规划

（1）定制图片收费

（2）收徒

（3）广告

2. 长期规划

（1）打造AI时代的初音未来

这个很难，因为没有什么竞争的壁垒，可以是一个持久思考和努力的方向。

（2）先把这个号做大，然后等做会话app的时候，迁移引流。

这是一个很好的方向，到时候如果这个ip做大了，只用一个app就能把所有人都引过去了。

（五）要不要多平台运营？

可以多平台运营，但要筛选平台。

视频号

做正经运营，以涨粉为主，不要擦边别被封号了，做好长期战斗的准备。

抖音

流量最大，一定不能放弃，可以擦边。

小红书

粉丝广告变现能力最强，可以擦边。

（六）做服务还是做人设？

人设很容易腻歪，结合我自己的特点，和我关注别人故事的特点，这点可以结合。

所以我的这个号需要有两个特色：一是要”色”，要擦边；二是要”走心”，可以帮助大家解决问题。

（六）运营的节奏是怎么样的？

1. 一天发几次？

前期一天发布3次，早上（8点）和傍晚（17点），这两个时间点之后会有人看手机。

比如：早起的时间高峰、下班的时间高峰。

2. 发布图片的张数如何？

图片不能发太多，给人一种很容易得到的感觉就腻歪了。

每次发3张，借鉴古语”事不过三”。

然后擦边的图片，4次发布带2次，各一张，也就是含量：2/12。

然后再附带一张非常劲爆的十八禁图片，但要打码的。

3. 都以图文的方式发布吗？

小红书用图文的方式发布，小红书的视频互动率太差了，体验也不好。

抖音用剪映的模板制作视频，因为抖音的图文需要配乐，效率非常低。

视频号用秒剪的模板制作视频，因为视频号现在图文体验非常不好，点赞率不高。

———>
2023年03月05日22:46:02 思考：先只做小红书，成本最低（图文速度非常快，大力出奇迹），收益可能最高。

二、行动规划

（一）账号规划

1. 账号名

不叫英文名，就叫中文名，男性喜欢的是低level的女性，所以就叫婷婷。

不叫 AI/虚拟人，这些太生硬了，我们叫初音婷婷。

因为初音未来已经是被公认的IP了，加上初音两个字，就相当于是数字人了。

2. 简介相关

（二）护城河构建

这个方向没有什么护城河，竞争很大，所以要打造护城河。

目前我能想到的，可以至少打造两个护城河：

1. 早发优势

多和用户产生互动，走服务业，让用户产生依赖。

所以其实是不是同一个人脸不是很重要，重要的是持久的陪伴，是服务。

甚至说，偶尔换次脸，跳一下不同次元，还能吸引不同的粉丝。

冷启动的时候，多发一些素材，吸引多一些粉丝，一次性发4次。

2. 降低运营成本

a. 素材自动化 ✅

b. 内容自动化 ✅

chatGPT也可以实现。

3. 互动自动化

可以自动和用户进行私信和评论的互动，这个还没实现，而且内容也一定是需要我审核一遍的。

这方面最好的情况是：

可以将用户的私信和评论回复内容自动化，但我要审核
正好我工作日可以发一些人工生成的内容，增强互动。

4. 变现自动化

变现是个比较重要的工程，前期这块还是人工把控，先不做自动化。

5. 管理自动化 ✅

每次发表过的内容，都要便捷的收藏起来：使用飞书就行。

第三篇内容

1. 风格和人脸是不同的工程

风格可以使用C站提供的（也就是checkpoint），训练出的人脸是lora:

2. LoRa过拟合

一个过拟合的LoRa会导致大模型很模糊。

3. checkpoint、LoRa和提示词

可以类比成：

一、模型人物进行视频换脸

教程：【AI动画】使AI动画纵享丝滑~保姆级教程+Stable Diffusion+Mov2mov扩展,轻轻松松一键出AI视频

Denoising strength 就是噪声因子，噪声因子越大，生成的图片变化越大。如果想要丝滑的视频，那可以把这个参数调为0。

参数：

二、现实人物照片生成lora模型

如何使用8G以下显卡训练Stable diffusion可用的Lora模型

使用： Kohya’s GUI

教程：Stable Diffusion教学训练Lora定制AI老婆（上）

图片最好包含不同角度，不同光影
调整分辨率
使用 Train - Preprocess Images

编辑图片提示词（可以不做）
部署安装 kohya_ss GUI

三、同时指定checkpoint和loRa

添加LoRa：

初步调用openAI公开的接口

import openai
openai.api_key = ‘sk-key’
while True:
prompt = input(‘Q:’)
if prompt == ‘quit’:
break
else:
res = openai.ChatCompletion.create(
model = ‘gpt-3.5-turbo’,
messages= [{“role”:”user”,”content”:prompt}],
temperature = 0.5,
max_tokens = 500,
frequency_penalty=0,
presence_penalty=0
)
print(‘***GPT-3.5 Open AI******‘)
print(res[‘choices’][0][‘message’][‘content’])

其中OpenAI key申请网站：https://platform.openai.com/account/usage ，现在开通送18美元的token体验额度，体验很丝滑。

四、midjourney

如何用 Midjourney 绘制你自己的皮克斯风格头像？

prompt： simple avatar, pixar, 3d rendering, –s 500 –iw 1.5 –v 5

StableDiffusion摸索（总）