主页
分类
标签
归档
主页
分类
标签
归档
ResNet
ResNet 论文地址 当时,难以训练更深的神经网络,为此作者提出了一个残差(residual)学习框架,用于简化网络的训练。最终取得了惊人的效果,和当时很多工作比,具有更少的参数和更深的网络,甚至能达到千层 退化现象 深度神经网络在图像分类上取得了一系列巨大突破(AlexNet、VGGNet),他们的成功还表明模型深度对效果的影响非常大,通过标准初始化、中间标准化层的方法解决了梯度爆炸/消...
2024-11-18
ai
ai
阅读全文
VGGNet
VGGNet 论文地址 作者成功构建出一个非常深的卷积神经网络,并得到了更低的错误率和更强的泛化能力 为了构建一个很深的神经网络,作者 使用了非常小的卷积核 参数随机初始化 数据增强,比如随机裁剪、多尺度训练(放缩) 多GPU并行训练,将图像切分放入GPU中求梯度,将所有GPU中的梯度做均值,作为最终梯度
2024-11-15
ai
ai
阅读全文
AlexNet
AlexNet 论文地址 据说这是大模型的起源与标志 介绍 在图像识别领域,先前的工作使用的数据集都很小,尽管在某些任务中已经达到了人类水平,但是实际情况是非常复杂的,我们需要更大的训练集 为了能从海量的数据中学到东西,模型需要有一个巨大的学习能力。但是由于数据过于庞大,这个任务不能被人力明确定义。对于分类任务,只依靠训练数据是远远不够的,我们还需要有先验知识(prior knowledge...
2024-11-13
ai
ai
阅读全文
强化学习
强化学习 跟同事聊了一会强化学习做AI游戏,感觉难度很大很麻烦,遂断更 游戏的奖励频率过低,电子游戏很难像围棋那样计算每一步的收益,就像训狗一样,你让狗坐下给一次奖励,训练效果会很好,但让狗做非常多复杂的组合动作再给一次奖励,就很难训练 数据难以收集,AI玩游戏通常是现有一个游戏,再去做AI,这些AI公司一般都没有与游戏公司合作,于是难以拿到原始的状态同步信息,只能抓取屏幕提取参数,难以...
2024-10-07
ai
ai
阅读全文
OpenAI API
OpenAI API 我这里使用的Step开放平台,其API与OpenAI兼容 Python可以使用openai库轻松调用一些大模型服务,对Agent工程师来说非常有用 对话 from openai import OpenAI client = OpenAI(api_key="xxxxx", base_url="https://api.stepfun.com...
2024-09-13
ai
ai
阅读全文
Tensorboard 使用
Tensorboard 使用 Tensorboard是一个用于监控训练过程的UI 安装 pip install tensorboard 启动 找到训练的log文件夹,找到一个形如events.out.tfevents.xxxx.xxx.xxx.x的文件,运行 tensorboard --logdir=log/xxxx 会启动一个服务,访问这个链接就可以查看当前训练信息 如果训练在服务器中,可...
2024-07-02
ai
ai
阅读全文
ControlNet
ControlNet ControlNet是在Stable Diffusion模型上添加辅助模块,添加额外条件来控制AI绘图过程 ControlNet将SD模型复制两份,一份锁定,一份使用额外数据进行微调,最后将两份合并绘图。于是我们可以使用少量图片实现微调,同时保持SD数十亿张图的训练效果 参数介绍 运行你的SD,在浏览器打开xxx:port/docs即可查看SD的Fast API ...
2024-06-05
ai
ai
阅读全文
AI 常用术语
AI 常用术语 刚刚加入AI公司,听组会听的头都大了,沟通过程中很多术语都不了解,于是简单学习记录一下 机器学习 良定义 Well-Defined 一个定义要满足:明确性、一致性、完备性、无歧义性 明确性:明确指出所定义对象的范围和特征 一致性:定义不能自相矛盾 完备性:定义要包含足够的信息,使得人们可以通过定义判断一个对象是否属于定义的范围 无歧义性:定义要避免使用含糊不清、多义词 ...
2024-05-08
ai
ai
阅读全文
PyTorch学习记录
PyTorch学习记录 PyTorch是一个Python机器学习框架 基础语法 张量 Tensors Tensors很像矩阵、向量,在PyTorch中使用Tensors编码输入和输出 构造 import torchimport numpy as np# 直接构造data = [[1, 2],[3, 4]]x_data = torch.tensor(data)# 使用numpy array...
2024-03-30
ai
ai
阅读全文