Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
The table of contents is too big for display.
Diff view
Diff view
  •  
  •  
  •  
119 changes: 70 additions & 49 deletions benchmark/benchmark_runner.cpp
Original file line number Diff line number Diff line change
Expand Up @@ -139,58 +139,79 @@ void BenchmarkRunner::RunBenchmark(Benchmark *benchmark) {
LogLine(error_data.Message());
return;
}
auto nruns = benchmark->NRuns();
// auto nruns = benchmark->NRuns();
auto nruns=1;
LogLine("NRuns: "+std::to_string(nruns)+"\n");
for (size_t i = 0; i < nruns; i++) {
bool hotrun = i >= 0;
if (hotrun) {
Log(StringUtil::Format("%s\t%d\t", benchmark->name, i));
}
if (hotrun && benchmark->RequireReinit()) {
state = benchmark->Initialize(configuration);
}
is_active = true;
timeout = false;
std::thread interrupt_thread(sleep_thread, benchmark, this, state.get(), hotrun,
benchmark->Timeout(configuration));

string error;
try {
profiler.Start();
benchmark->Run(state.get());
profiler.End();
} catch (std::exception &ex) {
duckdb::ErrorData error_data(ex);
error = error_data.Message();
}
string error;

is_active = false;
interrupt_thread.join();
if (hotrun) {
LogOutput(benchmark->GetLogOutput(state.get()));
if (!error.empty()) {
LogResult("ERROR");
LogLine(error);
break;
} else if (timeout) {
LogResult("TIMEOUT");
break;
} else {
// write time
auto verify = benchmark->Verify(state.get());
if (!verify.empty()) {
LogResult("INCORRECT");
LogLine("INCORRECT RESULT: " + verify);
LogOutput("INCORRECT RESULT: " + verify);
LogSummary(benchmark->name, "INCORRECT RESULT: " + verify, i);
break;
} else {
LogResult("Result: "+std::to_string(profiler.Elapsed()));
}
}
}
benchmark->Cleanup(state.get());
try {
profiler.Start();
benchmark->Run(state.get());
profiler.End();
} catch (std::exception &ex) {
duckdb::ErrorData error_data(ex);
error = error_data.Message();
}
auto verify = benchmark->Verify(state.get());
if (!verify.empty()) {
LogResult("INCORRECT");
LogLine("INCORRECT RESULT: " + verify);
LogOutput("INCORRECT RESULT: " + verify);
LogSummary(benchmark->name, "INCORRECT RESULT: " + verify, 0);
// break;
} else {
LogResult("Result: "+std::to_string(profiler.Elapsed()));
}
// for (size_t i = 0; i < nruns; i++) {
// bool hotrun = i >= 0;
// if (hotrun) {
// Log(StringUtil::Format("%s\t%d\t", benchmark->name, i));
// }
// if (hotrun && benchmark->RequireReinit()) {
// state = benchmark->Initialize(configuration);
// }
// is_active = true;
// timeout = false;
// std::thread interrupt_thread(sleep_thread, benchmark, this, state.get(), hotrun,
// benchmark->Timeout(configuration));
//
// string error;
// try {
// profiler.Start();
// benchmark->Run(state.get());
// profiler.End();
// } catch (std::exception &ex) {
// duckdb::ErrorData error_data(ex);
// error = error_data.Message();
// }
//
// is_active = false;
// interrupt_thread.join();
// if (hotrun) {
// LogOutput(benchmark->GetLogOutput(state.get()));
// if (!error.empty()) {
// LogResult("ERROR");
// LogLine(error);
// break;
// } else if (timeout) {
// LogResult("TIMEOUT");
// break;
// } else {
// // write time
// auto verify = benchmark->Verify(state.get());
// if (!verify.empty()) {
// LogResult("INCORRECT");
// LogLine("INCORRECT RESULT: " + verify);
// LogOutput("INCORRECT RESULT: " + verify);
// LogSummary(benchmark->name, "INCORRECT RESULT: " + verify, i);
// break;
// } else {
// LogResult("Result: "+std::to_string(profiler.Elapsed()));
// }
// }
// }
// benchmark->Cleanup(state.get());
// }
benchmark->Finalize();
}

Expand Down
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q01.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
2399939928
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q02.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
202134
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q03.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
sum|count|avg
3152344|10000000|1508.8046441000000000
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q04.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
avg
2513100748938099884
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q05.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
17630976
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q06.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
835093
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q07.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
min|max
2013-07-02|2013-07-31
9 changes: 9 additions & 0 deletions benchmark/clickbench/answers-24ssd/q08.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,9 @@
advengineid|count
27|107440
2|89562
13|4741
25|340
52|34
28|8
3|5
50|4
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q09.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
regionid|u
229|238734
2|110580
208|74491
158|41364
34|33519
169|32199
55|30880
42|28675
107|25750
51|22482
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q10.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
regionid|sum|c|avg|count
229|496242|1696554|1547.9009669011419619|238734
2|169267|897731|1426.8183241973375098|110580
208|134381|476811|1372.3153052257603117|74491
42|58343|253806|1585.9053450273043190|28675
55|64858|237320|1424.5055199730321928|30880
34|62485|190432|1568.6156265753654848|33519
226|34883|183117|1590.0829251243740341|18527
36|38255|171419|1592.5158529684574055|21284
40|39327|162012|1602.8290990790805619|17720
158|24748|150726|735.0502302190730199|41364
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q11.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
mobilephonemodel|u
iPad|74651
iPhone|3440
A500|1340
N8-00|399
ONE TOUCH 6030A|267
iPho|195
3110000|137
GT-P7300B|135
eagle75|132
GT-I9500|124
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q12.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
mobilephone|mobilephonemodel|u
1|iPad|62929
5|iPad|3498
6|iPad|2092
7|iPad|2001
118|A500|1337
6|iPhone|1017
26|iPhone|1014
10|iPad|968
13|iPad|734
32|iPad|688
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q13.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
searchphrase|c
ведомосквы вместу|4948
смотреть онлайн бесплатно|3377
ебутсы арениксандройд полнечный|3013
ебутсы для|2552
смотреть онлайн|2520
ведомосквы вы из|2473
ведомосквиталия страции|2035
ведомосковский|1686
из руками руками в евпатов и подряд|1596
рецепты сбербан|1244
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q14.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
searchphrase|u
ебутсы арениксандройд полнечный|2898
смотреть онлайн бесплатно|2740
ебутсы для|2414
смотреть онлайн|2040
из руками руками в евпатов и подряд|1542
ведомосквы вместу|1386
смотреть онлайн бесплатно в хорошем|946
рецепты сбербан|909
смотреть|898
ф-1|894
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q15.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
searchengineid|searchphrase|c
2|ведомосквы вместу|3481
2|ебутсы арениксандройд полнечный|2419
2|смотреть онлайн бесплатно|2253
2|ведомосквы вы из|1859
2|ебутсы для|1811
2|ведомосковский|1682
2|смотреть онлайн|1540
2|ведомосквиталия страции|1443
2|из руками руками в евпатов и подряд|1183
2|рецепты сбербан|1172
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q16.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
userid|count
6949028786848070043|2496
6762020047108358913|2051
6718662516719813769|1678
840609390070579088|1498
6796732604398989098|1328
1508127196834704092|1303
3787634936610360879|1272
2162069977849117686|1257
671159363023897628|1248
7923680072445463340|1207
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q17.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
userid|searchphrase|count
6949028786848070043||2496
6762020047108358913||2051
6718662516719813769||1651
840609390070579088||1498
6796732604398989098||1328
1508127196834704092||1303
3787634936610360879||1271
2162069977849117686||1257
671159363023897628||1247
7923680072445463340||1207
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q18.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
10
11 changes: 11 additions & 0 deletions benchmark/clickbench/answers-24ssd/q19.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
userid|m|searchphrase|count
268830234957867635|35||168
268830234957867635|59||162
268830234957867635|0||117
8806295971514985514|38||97
3735822156603262613|41||89
5216851095034646002|51||80
12481285348839703|39||75
268830234957867635|36||75
5568739309955161395|56||74
5216851095034646002|52||67
1 change: 1 addition & 0 deletions benchmark/clickbench/answers-24ssd/q20.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
userid
2 changes: 2 additions & 0 deletions benchmark/clickbench/answers-24ssd/q21.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
count
646
6 changes: 6 additions & 0 deletions benchmark/clickbench/answers-24ssd/q22.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,6 @@
searchphrase|c_min|c
зачать онлайн бесплатно|http://tienskaia-moda-brietielkakh-2%2F%2Fwww.google-poyasnuha-petersburg/detail.aspx?sort=newly&trafkey|2
как миксетин инструкция общая|http://samara.irr.ru/catalog_googleMBR%26ad%3D90%26pz|2
комбактерина кабачки в крополь интерном сад тюмень|http://samara.irr.ru/catalog_googleTBR%26ad%3D278885%26bt%3D430001216|2
один инструктура птахани нюши смотреть краси|http://bdsm_position/2624217,2013-07-01:2013/frl-4/transport.ru/google%2F|2
строитель верси джейкоциты вычета|http://ru.tv/smsarhiv/num-9/nf-3/csrf-39818/googleBR|2
7 changes: 7 additions & 0 deletions benchmark/clickbench/answers-24ssd/q23.csv
Original file line number Diff line number Diff line change
@@ -0,0 +1,7 @@
searchphrase|min_url|min_title|c|c_distinct
коптимиквиды юриста с роуз рая|https://produkty%2Fpulove.ru/booklyattion-war-sinij-9182/women|Легко на участные участников., Цены - Стильная парнем. Саганрог догадения : Турции, купить у 10 дне кольные машинки не представки - Новая с избиение спродажа: котята 2014 г.в. Цена: 47500-10ECO060 – -------- купить квартиру Оренбург (России Galantrax Flamiliada Google, Nо 18 фотоконверк Супер Кардиган|45|12
ведомосквы вместу|http://mysw.info/newsru.ru/compatible|Convent-менеджер с Google Players 1.3 кв. м.- Продажа: лет - купить Bisbal Systеms Aparty*|18|12
коптимиквиды юрий жд ворожные моем|https://produkty%2Fpulove.ru/booklyattion-war-sinij-9182/women|Легко на участные участников., Цены - Стильная парнем. Саганрог догадения : Турции, купить у 10 дне кольные машинки не представки - Новая с избиение спродажа: котята 2014 г.в. Цена: 47500-10ECO060 – -------- купить квартиру Оренбург (России Galantrax Flamiliada Google, Nо 18 фотоконверк Супер Кардиган|16|6
заделать магнездо|http://auto.ria.ua/search/ab_district=1&cid=577&action&op|"AUTO.ria.ua: продажа | Востов-на-Дону, чашечка Google Cayennection Polo | б.у. и новых. Автопоиска и купить в Омск - IRR.ru - Роддово, ул. Гибочной день цене"|13|13
вспомидоры,отека обучение стека|https://produkty%2Fpulove.ru/booklyattion-war-sinij-9182/women|Легко на участные участников., Цены - Стильная парнем. Саганрог догадения : Турции, купить у 10 дне кольные машинки не представки - Новая с избиение спродажа: котята 2014 г.в. Цена: 47500-10ECO060 – -------- купить квартиру Оренбург (России Galantrax Flamiliada Google, Nо 18 фотоконверк Супер Кардиган|10|1
авторы для jimm f/4-5.6 dc union arkham текст|http://nn.jobinmoscow.ru/real-estate/rent/Srochnoe-planet.ru/audio.ru/news/animals-platia%2F537|Google Papa Rapalace Rescu - модной тканика Ассортименте|9|9
Loading
Loading