强化学习 在不远的过去，强化学习被各种唱衰，环境难以模拟、算法难以泛化、激励难以设计、应用场景有限等等，很多人认为强化学习很酷，但就是“没用”。但随着LLM的兴起，RL可以帮助LLM实现对齐人类偏好、、提升生成质量、低成本Post Train，RL瞬间成为了一种杀手级应用。于是最近一段时间，无论是LLM、Diffusion、具身智能，都开始搞RL了。 我最近打算使用RL训练Diffusion...

AI 文章阅读 follow 周舒畅的知乎文章，包含AI辅助创作 自由能理论 Free Energy Principle, FEP 任何自组织系统为了维持其存在，都必须通过行动和感知来最小化其变分自由能，从而间接最小化与环境之间的“惊奇”（Surprise） 变分自由能=复杂度-准确度 最小化自由能的过程，就是在保持自身简洁的和精确解释数据间寻找最佳平衡 Adam优化器 Adapt...

常用数据集 3D重建 Mip-NeRF 360 https://jonbarron.info/mipnerf360/ 几个，室内室外环绕拍摄，RGB图片 DL3DV-10K https://huggingface.co/datasets/DL3DV/DL3DV-ALL-4K 10k，室内室外手机移动拍摄，RGB图片+Pose CO3D https://ai.meta.com/dat...

实用AI工具 图片 图片去背景 使用RMBG为图片去背景 from PIL import Imageimport torchfrom torchvision import transformsfrom transformers import AutoModelForImageSegmentationimport osfrom tqdm import tqdmmodel = AutoModel...

AI 常用术语 记录一些AI常用术语 机器学习 任务 回归（Regression）：预测连续型变量的值，如股票预测 分类（Classification）：预测离散型变量的类别，如图像分类 聚类（Clustering）：将数据划分为不同的组别，使得组内的相似性最大化，组间的相似性最小化，例如客户细分、图像分割 降维（Dimensionality Reduction）：减少数据的...

Diffusion 扩散原理 生成模型的目标是：给定一组数据，构建一个分布，生成新的数据 在物理学中很多微观过程都是时间可逆的，如果能知道当前系统的状态，理论上可以求出上一时间的状态。受此启发，如果我们知道从一幅画上如何一步步加噪声，也许能学会如何从噪声出发一步步去噪声得到一幅画。 扩散模型是一类概率生成模型，定义了两个马尔可夫过程： 前向过程：一个固定的马尔可夫链，将数据分布逐步添加高斯...

微调大模型 直接推理 Llama3 import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline( "text-generation", model=model_id, ...

WSL 深度学习环境搭建 Win11，N卡 很多人只有一台Windows电脑，装双系统很麻烦，尤其是一个有N卡驱动的Linux，而WSL2环境搭建非常方便 之前有写过一篇Linux入门，但是内容记的太杂了，这里精简一下 安装WSL2 在Windows Terminal（如果没有，去微软的store中下载）中输入 wsl --install 默认会安装一个最新的Ubuntu 安装GCC...

OpenAI API 我这里使用的Step开放平台，其API与OpenAI兼容 Python可以使用openai库轻松调用一些大模型服务，对Agent工程师来说非常有用 对话 from openai import OpenAI client = OpenAI(api_key="xxxxx", base_url="https://api.stepfun.com...

PyTorch学习记录 PyTorch是一个Python机器学习框架 张量 Tensors Tensors很像矩阵、向量，在PyTorch中使用Tensors编码输入和输出 构造 import torchimport numpy as np# 直接构造data = [[1, 2],[3, 4]]x_data = torch.tensor(data)# 使用numpy array转换np_...