[StructLayout(LayoutKind.Explicit, Pack = 1, Size = 84)]
public struct MyStruct
{
		[FieldOffset(0)]
		unsafe fixed byte Buffer[84];
                // далее идут обычные поля (всего 84 байта)
}

public class SomeClass
{
    public Read(Stream source)
    {
        var count = source.Length - source.Position / 84;
        var myStructs = new MyStruct[count];
        source.Read(myStructs[0].Buffer, 0, count * 84);
    }
}