Всем привет,
ну вообщем я нашол данные в виде бекапов вики и компании ))) и решил тут о них рассказать для тех кто интересуется.
и так исходные данные:
1. ХМЛ файл:
http://dumps.wikimedia.org/enwiki/20130904/enwiki-20130904-stub-meta-current.xml.gz
2. 3ГБ размер
3. в распакованом состоянии файл занимает 18ГБ места.
4. 31М записей о страничках в вики.
5. Bzip2 сжимает этот файл в 2ГБ
6. 593045627 строк в файле
пример записи.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
<page>
<title>AfghanistanHistory</title>
<ns>0</ns>
<id>13</id>
<redirect title="History of Afghanistan" />
<revision>
<id>74466652</id>
<parentid>15898948</parentid>
<timestamp>2006-09-08T04:15:52Z</timestamp>
<contributor>
<username>Rory096</username>
<id>750223</id>
</contributor>
<comment>cat rd</comment>
<text id="74089594" bytes="57" />
<sha1>d4tdz2eojqzamnuockahzcbrgd1t9oi</sha1>
<model>wikitext</model>
<format>text/x-wiki</format>
</revision>
</page>
Железо в варианте 3 машины с Intel(R) Xeon(R) CPU W3530 @ 2.80GHz 12GB RAM и одна с Intel(R) Xeon(R) CPU X5450 @ 3.00GHz. 8GB RAM. диски все сата ... и полная солянка )))
И так гоняем данные локально в шеле ))) :
bashtime bunzip2 -c /mnt/hadoop/data_hadoop/test.xml.bz2 | grep "<title>" |wc
31127663 84114856 1382659030
real
9m32.953s
user
10m16.779s
sys 0m12.737s
Подобная задача решена на всём хадуп кластере за 3 минуты и 40 секунд. (да с паралельной распаковкой).
В случае если файл был в расспакованом состоянии (18ГБ) то обработка заканчивалась за 2м и 30с. (быстрее всего за 2мин и 12 секунд).
ну и на подумать )) файл был предварительно пережат pbzip2 ...
bash time pbzip2 -d -c -p8 /mnt/hadoop/data_hadoop/testpbzip.xml.bz2 | grep "<title>" |wc
31127663 84114856 1382659030
real
2m44.507s
user 21m28.493s
sys 0m19.833s
Может кто предложит что ещо можно сравнить ?
