自建网站推广方式,做网上贸易哪个网站好,中国公司排名100强,seo 网站制作#x1f504; RNN循环网络#xff1a;给AI装上记忆#xff08;superior哥AI系列第5期#xff09; 嘿#xff01;小伙伴们#xff0c;又见面啦#xff01;#x1f44b; 上期我们学会了让AI看懂图片#xff0c;今天要给AI装上一个更酷的技能——… RNN循环网络给AI装上记忆superior哥AI系列第5期 嘿小伙伴们又见面啦 上期我们学会了让AI看懂图片今天要给AI装上一个更酷的技能——记忆力 想象一下如果你看电影时只能看到孤立的画面完全记不住前面的剧情你能理解这部电影吗 如果你说话时忘记上一秒说了什么别人能听懂你在说啥吗 这就是为什么我们需要RNN循环神经网络它能让AI像人类一样拥有记忆理解时间序列掌握语言的前后文关系。今天superior哥就带你揭开RNN的神秘面纱 为什么AI需要记忆力
回忆一下我们之前学过的网络 传统神经网络
就像一个瞬间反应机器看到输入立马给出输出完全不记得之前发生了什么适合处理固定大小的数据 CNN
专门处理图像有空间感知能力但仍然是一次性处理没有时间概念看完这张照片就忘了下张照片重新开始 传统网络遇到序列数据就傻眼了
生活中很多数据都是有时间顺序的 文本理解问题
句子 “我昨天去北京吃了烤鸭”传统网络 只能看到单个词不知道时间关系问题 昨天和吃了的时态关系完全丢失 音乐识别问题
音乐 do-re-mi-fa-sol…传统网络 每个音符都是独立的问题 没有旋律的概念无法理解音乐 股价预测问题
股价 今天100→明天102→后天98…传统网络 只看当前价格问题 看不到趋势预测完全没用
所以AI急需一种记忆力来处理这些序列问题 RNN的核心思想带着记忆去学习
RNN的设计哲学超级简单让AI在处理每个新信息时都能回忆起之前的经历 生活中的记忆例子
想象你在听朋友讲故事 朋友说“昨天我去商场…” 你的大脑记住时间昨天地点商场 朋友接着说“买了一件衣服…” 你的大脑想昨天在商场买衣服 朋友最后说“今天穿着很帅” 你理解了昨天买的衣服今天穿着帅
这就是RNN的工作方式每处理一个新词都会结合之前的记忆 RNN的工作机制
RNN的核心创新就是引入了**“循环连接”**
传统网络失忆症患者
输入 → 处理 → 输出
(每次都是全新开始完全不记得之前的事)RNN有记忆力的智者
输入₁ → 处理 → 输出₁ → 记忆₁↓
输入₂ → 处理 ← 记忆₁ → 输出₂ → 记忆₂ ↓
输入₃ → 处理 ← 记忆₂ → 输出₃ → 记忆₃RNN的三个关键步骤
在每个时间步RNN都会 接收当前输入 x_t比如当前这个词 回忆过去记忆 h_{t-1}之前理解的内容 更新当前理解 h_t结合新信息和旧记忆 输出当前结果 y_t基于完整理解的预测 RNN的数学表达别怕很简单
h_t tanh(W_hh × h_{t-1} W_xh × x_t b_h)
y_t W_hy × h_t b_y翻译成人话
h_t当前时刻的理解状态记忆tanh激活函数给神经元装个性格W_hh记忆权重多重视过去的经验W_xh输入权重多重视当前信息W_hy输出权重如何基于理解做决策
简单总结新理解 过去记忆 当前输入 一点数学魔法✨ RNN的典型应用从聊天到预测 语言理解与生成
文本分类情感分析
任务 判断这部电影真的很棒我推荐大家去看是正面还是负面评价
RNN处理过程
“这部” → 理解在讨论某个事物“电影” → 更新理解在讨论电影“真的很棒” → 更新理解这是正面评价“推荐” → 确认理解确实是正面的
机器翻译
任务 “我爱学习” → “I love learning”
RNN处理
编码器RNN理解中文句子的含义解码器RNN根据理解生成英文 时间序列预测
股价预测
历史数据 [100, 102, 98, 105, 103, …] RNN学习 股价的变化趋势和模式 预测 下一天可能的价格
天气预测
历史数据 [温度、湿度、风速、气压…] RNN学习 天气变化的规律 预测 明天的天气情况 创意生成
音乐创作
训练 喂给RNN大量音乐作品 学习 音符之间的关系和音乐规律 创作 生成新的旋律
诗歌创作
训练 学习古诗词的格律和韵律 创作 生成符合格律的新诗 RNN的阿尔兹海默症梯度消失问题
虽然RNN很强大但它有个致命弱点记忆力不持久 梯度消失记忆的噩梦
想象RNN是个健忘的老人
短期记忆OK 能记住刚才说的几句话长期记忆NG 完全忘记了开头说了什么
技术原因 当序列很长时梯度在反向传播过程中会越来越小最终接近于0导致网络无法学习长期依赖关系。
实际表现
能理解我饿了想吃饭短序列搞不懂我早上7点起床刷牙洗脸然后…中间100个词…所以现在很饿长序列 解决方案预告
为了解决这个问题科学家们发明了RNN的升级版
LSTM长短期记忆网络专门解决遗忘问题GRU门控循环单元LSTM的简化版
我们下次详细讲
️ 实战时间用RNN预测股价
让我们用Python搭建一个简单的RNN来预测股价
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as pltclass SimpleRNN(nn.Module):def __init__(self, input_size1, hidden_size32, output_size1, num_layers2):super(SimpleRNN, self).__init__()# RNN层self.rnn nn.RNN(input_sizeinput_size, # 输入特征数hidden_sizehidden_size, # 隐藏状态大小 num_layersnum_layers, # RNN层数batch_firstTrue # 批次优先)# 输出层self.fc nn.Linear(hidden_size, output_size)def forward(self, x):# x shape: (batch_size, sequence_length, input_size)# RNN前向传播rnn_out, hidden self.rnn(x)# rnn_out shape: (batch_size, sequence_length, hidden_size)# 只要最后一个时间步的输出predictions self.fc(rnn_out[:, -1, :])# predictions shape: (batch_size, output_size)return predictions# 创建模型
model SimpleRNN(input_size1, hidden_size32, output_size1)# 模拟股价数据
def generate_stock_data(seq_length30, num_samples1000):生成模拟股价数据prices []for _ in range(num_samples seq_length):if len(prices) 0:price 100 # 起始价格else:# 随机游走 一点趋势change np.random.normal(0, 1) 0.01 * np.sin(len(prices) / 50)price prices[-1] changeprices.append(price)return np.array(prices)# 准备训练数据
def create_sequences(data, seq_length):创建序列数据X, y [], []for i in range(len(data) - seq_length):X.append(data[i:iseq_length])y.append(data[iseq_length])return np.array(X), np.array(y)# 生成数据
stock_prices generate_stock_data()
X, y create_sequences(stock_prices, seq_length30)# 转换为PyTorch张量
X torch.FloatTensor(X).unsqueeze(-1) # 添加特征维度
y torch.FloatTensor(y)print(f输入形状: {X.shape}) # (样本数, 序列长度, 特征数)
print(f输出形状: {y.shape}) # (样本数,)# 简单训练循环示例
criterion nn.MSELoss()
optimizer torch.optim.Adam(model.parameters(), lr0.001)# 训练几个epoch
for epoch in range(100):optimizer.zero_grad()predictions model(X[:800]) # 用前800个样本训练loss criterion(predictions.squeeze(), y[:800])loss.backward()optimizer.step()if epoch % 20 0:print(fEpoch {epoch}, Loss: {loss.item():.4f})# 测试预测
model.eval()
with torch.no_grad():test_predictions model(X[800:900])test_loss criterion(test_predictions.squeeze(), y[800:900])print(fTest Loss: {test_loss.item():.4f})总结RNN开启了AI的时光记忆 RNN的核心优势 拥有记忆能记住之前的信息理解上下文 处理变长序列不限制输入长度灵活应对⏰ 理解时间关系掌握事件的先后顺序 自然语言友好特别适合文本和语音处理 RNN的典型应用 聊天机器人理解对话上下文 机器翻译Google翻译的核心技术 金融预测股价、汇率预测 艺术创作音乐、诗歌生成️ 语音识别Siri、Alexa背后的技术
⚠️ RNN的局限性 梯度消失问题长序列记忆力不足 训练速度慢无法并行计算 计算资源需求大尤其是长序列 下期预告LSTM和GRU
下一期我们要学习RNN的升级版 LSTM如何解决遗忘问题⚡ GRU更简洁但同样强大 实战项目文本情感分析、聊天机器人
这些技术将让AI的记忆力大大提升能处理更长、更复杂的序列
记得点赞收藏关注三连我们下期见 superior哥的RNN记忆小贴士RNN就像给AI装了个大脑记忆系统。虽然它不完美会健忘但已经能让AI理解很多有时间关系的任务了。记住AI的进步是一步步来的先有记忆再有更好的记忆继续加油✨
