В первую очередь они отличаются набором интерфейсов. LinkedList реализует Queue и Deque, ArrayList нет.

Во вторую способом хранения. Массив или двунаправленный список. Разница:
1. Последовательный доступ: Сколько не тестировал, большой разницы нет;
2. Произвольный доступ: ArrayList предпочтительнее;
3. Последовательная запись: добавление в LinkedList требует фиксированного времени (все относительно), а вот в случае ArrayList, если размер списка превышает размер массива, то выделяется новый массив в 2 раза больше и все данные (на самом деле указатели, так что не особо страшно) переписываются в новый массив. Чисто теоретически, это может создать задержку на больших (несколько миллионов) размерах списка. Если заранее известен размер списка, то лучше его указать при создании, если не известен, то лучше использовать LinkedList. В последнем утверждении я сам, если честно, сомневаюсь.
4. Произвольная запись: ArrayList предпочтительнее;
5. Сортировка: сортировка происходит так: список копируется в массив и там происходит сортировка, потом результат копируется обратно в список. Скопировать из массива в массив быстрее, т.е. на сортировку ArrayList тратится времени меньше.

На мой вгляд лучшее руководство по коллекциям Java
Неплохое руководство на русском языке :)

SarinАррэйЛист обёртка для массива. Предполагаю что пока размер буфера не меньше количество элементов все операции будут быстрее с АррэйЛистом.
ArrayList инициализируется массивом из 10 элементов. Поэтому если сразу ему не указать более или менее вменяемый размер, под него будет выделено памяти почти в 2 раза больше, чем требуется. Конечно, потом половина соберется, но осадок останется :) А так да, быстрее...