如何将5D张量引入LSTM？

how to feed 5D tensor into LSTM?(如何将5D张量引入LSTM？)

问题描述

我有3D CNN网络的输入形状为(150，80，80，16，3)的视频数据。

我得到了形状为(150，7，7，2,512)的conv Layer的输出，表明：

150号序列的数量

7，7高度和宽度

2时间维度

512个功能地图

我想将其提供给LSTM，所以我将输出数据重塑为：

model.add(Reshape((1, 7*7*2*512)))
model.add(LSTM(100, return_sequence=true))

它适用于LSTM，但我不确定这是否正确(是否应该将time-space=16，并根据我们在开始时选择的时间维度将特征编号更改为3136)。我知道LSTM应该得到具有形状(序列、时空、特征)的数据。

如果您有什么建议，我很乐意。

谢谢

推荐答案

您确实很接近，但您缺少组织时间步骤或时间维度的关键步骤。您要的是(150, 2, 7*7*512)，它表示150个样本、2个时间步长和展平的特征。因此，您可以先置换，然后重塑：

model.add(Permute((3, 1, 2, 4)) # (samples, 2, 7, 7, 512)
model.add(Reshape((2, 7*7*512)) # (samples, 2, 7*7*512)

现在，LSTM将处理2个时间步长的拼合图像要素。

请注意，对于每个时间步，这实际上是非常大的要素空间，您可能希望通过池化操作或其他CNN层来减少要素集。

这篇关于如何将5D张量引入LSTM？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！