private ModelInstance diceInstance;
    private final Vector3 position;
    private final Quaternion rotation = new Quaternion(); // начальная ориентация, надеюсь rotation.isIdentity()
    private final Vector3 scale;
    ...
    //x,y - direction of movement
    public void Move(float x, float y)
    {
        position.x += x;
        position.y += y;

        // ось вращения перпендикулярна направлению движения
        Vector3 axis = (new Vector3(y, -x, 0)).nor(); // nor не нужен, если конструктор Quaternion-а сам нормализует ось
        Quaternion delta = new Quaternion(axis, /*angle:*/5); // или -5, надо экспериментировать
        rotation.mul(delta); // или mulLeft, надо экспериментировать
        rotation.nor(); // без этого единичный кватернион постепенно перестанет быть единичным (из-за накапливающейся погрешности)

        diceInstance.transform.set(new Matrix4(position, rotation, scale));
    }

public Quaternion mul(Quaternion other)

public Quaternion mulLeft(Quaternion other)

Matrix4 transform = new Matrix4(position, rotation, scale);
float hs = 0.5f; // половина размера кубика
Vector3 face_1_center = (new Vector3(hs, 0, 0)).mul(transform);
Vector3 face_2_center = (new Vector3(-hs, 0, 0)).mul(transform);
Vector3 face_3_center = (new Vector3(0, hs, 0)).mul(transform);
Vector3 face_4_center = (new Vector3(0, -hs, 0)).mul(transform);
Vector3 face_5_center = (new Vector3(0, 0, hs)).mul(transform);
Vector3 face_6_center = (new Vector3(0, 0, -hs)).mul(transform);
// или во всех случаях traMul, надо экспериментировать

int lowest_face = 1;
float lowest_face_center_z = face_1_center.z;
if (face_2_center.z < lowest_face_center_z) {lowest_face_center_z = face_2_center.z; lowest_face = 2;}
if (face_3_center.z < lowest_face_center_z) {lowest_face_center_z = face_3_center.z; lowest_face = 3;}
if (face_4_center.z < lowest_face_center_z) {lowest_face_center_z = face_4_center.z; lowest_face = 4;}
if (face_5_center.z < lowest_face_center_z) {lowest_face_center_z = face_5_center.z; lowest_face = 5;}
if (face_6_center.z < lowest_face_center_z) {lowest_face_center_z = face_6_center.z; lowest_face = 6;}

 x = rotation.getAngleAround(Vector3.X);
 y = rotation.getAngleAround(Vector3.Y);
 z = rotation.getAngleAround(Vector3.Z);

 angle = rotation.getAngle();