Skip to content

Conversation

@Toms1999
Copy link
Contributor

@Toms1999 Toms1999 commented Aug 22, 2024

cherry pick from #38104

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@Toms1999
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49574 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d73169b90247caad9c4633da9ca6c7de95a80c43, data reload: false

------ Round 1 ----------------------------------
q1	17907	4452	4366	4366
q2	2047	191	154	154
q3	10219	1890	1919	1890
q4	10116	1267	1315	1267
q5	8519	3916	3923	3916
q6	227	124	124	124
q7	2049	1639	1613	1613
q8	9512	2738	2719	2719
q9	13884	10271	10212	10212
q10	8652	3521	3535	3521
q11	415	251	243	243
q12	473	295	300	295
q13	18333	3961	4047	3961
q14	360	322	327	322
q15	514	467	462	462
q16	682	574	565	565
q17	1133	933	936	933
q18	7291	6681	6954	6681
q19	1701	1610	1555	1555
q20	527	322	290	290
q21	4444	4093	4099	4093
q22	498	407	392	392
Total cold run time: 119503 ms
Total hot run time: 49574 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4322	4295	4323	4295
q2	317	221	230	221
q3	4163	4161	4131	4131
q4	2742	2734	2749	2734
q5	7114	7079	7053	7053
q6	241	123	121	121
q7	3229	2857	2838	2838
q8	4376	4498	4490	4490
q9	16990	16968	16756	16756
q10	4239	4265	4240	4240
q11	746	683	684	683
q12	1025	836	845	836
q13	6557	3724	3727	3724
q14	453	411	416	411
q15	494	455	467	455
q16	737	675	687	675
q17	3894	3920	3845	3845
q18	8789	8699	8843	8699
q19	1732	1708	1707	1707
q20	2392	2137	2090	2090
q21	8531	8559	8479	8479
q22	1028	960	925	925
Total cold run time: 84111 ms
Total hot run time: 79408 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 202474 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d73169b90247caad9c4633da9ca6c7de95a80c43, data reload: false

query1	926	390	409	390
query2	6556	2105	1964	1964
query3	6929	205	200	200
query4	20851	18053	17956	17956
query5	19736	6562	6482	6482
query6	303	226	235	226
query7	4151	300	305	300
query8	289	275	236	236
query9	3116	2692	2610	2610
query10	415	305	304	304
query11	11305	10867	10786	10786
query12	123	79	83	79
query13	5596	649	641	641
query14	18014	13823	13752	13752
query15	358	223	222	222
query16	6453	290	262	262
query17	1733	1457	887	887
query18	2290	416	438	416
query19	209	149	149	149
query20	82	80	77	77
query21	193	102	98	98
query22	5428	5280	5104	5104
query23	32811	32085	31927	31927
query24	6954	6521	6533	6521
query25	524	440	431	431
query26	526	163	160	160
query27	1861	291	293	291
query28	6109	2288	2277	2277
query29	2908	2694	2779	2694
query30	248	176	165	165
query31	901	734	747	734
query32	71	65	63	63
query33	419	261	258	258
query34	849	469	468	468
query35	1144	911	959	911
query36	1211	1268	1315	1268
query37	89	60	61	60
query38	3081	2973	2949	2949
query39	1384	1340	1322	1322
query40	200	97	100	97
query41	39	40	37	37
query42	84	82	84	82
query43	623	636	544	544
query44	1157	728	719	719
query45	242	232	232	232
query46	1223	962	969	962
query47	1744	1897	1817	1817
query48	983	675	684	675
query49	619	379	369	369
query50	861	616	602	602
query51	4771	4590	4580	4580
query52	96	82	84	82
query53	458	326	321	321
query54	2679	2433	2454	2433
query55	88	83	86	83
query56	234	222	214	214
query57	1273	1071	1084	1071
query58	233	207	202	202
query59	3385	3404	3333	3333
query60	210	210	206	206
query61	97	94	97	94
query62	852	497	480	480
query63	486	338	332	332
query64	2537	1508	1481	1481
query65	3612	3551	3520	3520
query66	771	392	382	382
query67	15657	16203	14834	14834
query68	10135	680	651	651
query69	567	361	333	333
query70	1944	1678	1379	1379
query71	419	309	342	309
query72	6589	3490	3499	3490
query73	742	322	319	319
query74	6238	5869	5819	5819
query75	5331	3765	3775	3765
query76	6552	1139	1192	1139
query77	1116	253	252	252
query78	12554	12608	11872	11872
query79	9174	659	668	659
query80	684	409	409	409
query81	467	230	237	230
query82	303	100	98	98
query83	169	131	131	131
query84	247	71	70	70
query85	751	321	319	319
query86	331	293	297	293
query87	3288	3010	3077	3010
query88	4876	2302	2296	2296
query89	348	280	279	279
query90	1951	209	218	209
query91	153	121	120	120
query92	61	52	51	51
query93	2291	550	569	550
query94	710	211	214	211
query95	1114	1089	1058	1058
query96	643	324	328	324
query97	6438	6395	6376	6376
query98	195	185	180	180
query99	2906	877	849	849
Total cold run time: 310647 ms
Total hot run time: 202474 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.42 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d73169b90247caad9c4633da9ca6c7de95a80c43, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.02
query3	0.25	0.05	0.06
query4	1.78	0.07	0.06
query5	0.54	0.53	0.52
query6	1.24	0.62	0.62
query7	0.01	0.01	0.01
query8	0.04	0.03	0.03
query9	0.52	0.49	0.47
query10	0.53	0.53	0.51
query11	0.13	0.09	0.09
query12	0.11	0.09	0.09
query13	0.62	0.61	0.61
query14	0.79	0.79	0.82
query15	0.77	0.76	0.77
query16	0.36	0.35	0.36
query17	1.03	0.98	0.99
query18	0.23	0.23	0.24
query19	1.93	1.86	1.85
query20	0.02	0.01	0.01
query21	15.47	0.54	0.55
query22	2.39	2.20	1.46
query23	17.21	0.97	1.09
query24	5.30	0.69	1.18
query25	0.36	0.12	0.05
query26	0.53	0.16	0.15
query27	0.04	0.04	0.03
query28	8.24	0.77	0.80
query29	12.65	2.32	2.35
query30	0.57	0.53	0.53
query31	2.79	0.38	0.37
query32	3.39	0.50	0.50
query33	3.11	3.09	3.08
query34	15.26	4.77	4.79
query35	4.84	4.85	4.85
query36	1.05	1.02	1.02
query37	0.06	0.05	0.04
query38	0.04	0.02	0.02
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.07	0.02	0.01
query42	0.02	0.01	0.01
query43	0.03	0.02	0.02
Total cold run time: 104.59 s
Total hot run time: 30.42 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit d73169b90247caad9c4633da9ca6c7de95a80c43 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.4 seconds inserted 10000000 Rows, about 467K ops/s

@Toms1999
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49463 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 387fe3f64aadb2093ee8a0614c90faaf94ba6742, data reload: false

------ Round 1 ----------------------------------
q1	17610	4374	4346	4346
q2	2025	181	144	144
q3	10269	1915	1912	1912
q4	10352	1249	1323	1249
q5	8448	3977	3825	3825
q6	225	122	122	122
q7	2023	1628	1621	1621
q8	9534	2738	2712	2712
q9	13141	10201	10165	10165
q10	8611	3499	3481	3481
q11	408	244	243	243
q12	464	296	300	296
q13	18375	3923	4029	3923
q14	342	323	326	323
q15	506	468	466	466
q16	690	576	567	567
q17	1151	967	969	967
q18	7205	6761	6929	6761
q19	1706	1575	1564	1564
q20	545	303	300	300
q21	4494	4137	4085	4085
q22	518	391	393	391
Total cold run time: 118642 ms
Total hot run time: 49463 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4315	4300	4312	4300
q2	322	229	224	224
q3	4140	4094	4172	4094
q4	2751	2749	2754	2749
q5	7127	7089	7079	7079
q6	236	123	123	123
q7	3215	2880	2813	2813
q8	4345	4429	4479	4429
q9	16897	16729	16803	16729
q10	4283	4296	4322	4296
q11	734	728	692	692
q12	1023	875	830	830
q13	7046	3759	3758	3758
q14	457	428	429	428
q15	491	463	471	463
q16	747	688	688	688
q17	3907	3817	3841	3817
q18	8863	8818	8824	8818
q19	1719	1714	1665	1665
q20	2432	2130	2143	2130
q21	8496	8521	8748	8521
q22	1174	1038	1033	1033
Total cold run time: 84720 ms
Total hot run time: 79679 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 201204 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 387fe3f64aadb2093ee8a0614c90faaf94ba6742, data reload: false

query1	2248	384	427	384
query2	8107	2130	2006	2006
query3	8858	201	222	201
query4	22969	18007	17991	17991
query5	19733	6598	6610	6598
query6	415	215	219	215
query7	5242	302	301	301
query8	256	249	242	242
query9	3118	2714	2653	2653
query10	481	301	313	301
query11	11476	10792	11775	10792
query12	127	77	80	77
query13	5625	659	646	646
query14	19067	13375	14020	13375
query15	356	226	235	226
query16	6425	284	266	266
query17	1393	1432	872	872
query18	2280	412	409	409
query19	211	159	151	151
query20	80	78	78	78
query21	185	98	98	98
query22	5261	5024	5011	5011
query23	32460	31899	31626	31626
query24	6794	6520	6512	6512
query25	524	431	412	412
query26	526	161	157	157
query27	1665	298	292	292
query28	6183	2293	2248	2248
query29	2837	2677	2751	2677
query30	241	167	170	167
query31	913	754	759	754
query32	69	65	61	61
query33	412	251	252	251
query34	838	471	459	459
query35	1116	927	943	927
query36	1234	1089	1160	1089
query37	91	59	63	59
query38	3050	2917	2949	2917
query39	1384	1327	1331	1327
query40	208	93	96	93
query41	39	36	35	35
query42	87	85	86	85
query43	696	544	577	544
query44	1132	710	713	710
query45	247	233	233	233
query46	1223	959	993	959
query47	1850	1707	1837	1707
query48	977	681	680	680
query49	633	373	387	373
query50	857	616	619	616
query51	4788	4637	4665	4637
query52	95	71	83	71
query53	444	318	333	318
query54	2648	2459	2467	2459
query55	98	69	92	69
query56	219	223	204	204
query57	1145	1132	1171	1132
query58	213	219	200	200
query59	3520	3380	3248	3248
query60	234	200	195	195
query61	101	100	93	93
query62	803	460	476	460
query63	496	350	347	347
query64	2508	1553	1395	1395
query65	3631	3537	3570	3537
query66	772	386	376	376
query67	16365	16473	15125	15125
query68	8779	672	660	660
query69	610	346	347	346
query70	1792	1480	1581	1480
query71	421	307	310	307
query72	6564	3470	3514	3470
query73	734	316	314	314
query74	6412	5843	5809	5809
query75	5359	3736	3756	3736
query76	5176	1146	1169	1146
query77	896	258	255	255
query78	12600	11742	11391	11391
query79	9100	632	642	632
query80	1588	412	405	405
query81	481	235	246	235
query82	1647	101	99	99
query83	172	133	131	131
query84	254	71	70	70
query85	919	323	319	319
query86	324	302	289	289
query87	3231	3033	3007	3007
query88	5124	2275	2276	2275
query89	395	268	285	268
query90	2001	204	210	204
query91	160	123	124	123
query92	59	51	51	51
query93	6426	544	586	544
query94	708	204	202	202
query95	1115	1055	1075	1055
query96	652	312	321	312
query97	6527	6328	6426	6328
query98	208	173	170	170
query99	3067	932	842	842
Total cold run time: 323780 ms
Total hot run time: 201204 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.99 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 387fe3f64aadb2093ee8a0614c90faaf94ba6742, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.24	0.06	0.05
query4	1.78	0.06	0.06
query5	0.54	0.53	0.52
query6	1.27	0.62	0.63
query7	0.01	0.02	0.01
query8	0.03	0.02	0.02
query9	0.54	0.49	0.48
query10	0.53	0.54	0.54
query11	0.13	0.09	0.08
query12	0.11	0.08	0.09
query13	0.62	0.63	0.61
query14	0.80	0.79	0.79
query15	0.77	0.76	0.75
query16	0.38	0.36	0.37
query17	1.01	1.00	1.02
query18	0.24	0.24	0.24
query19	1.87	1.85	1.85
query20	0.02	0.01	0.01
query21	15.46	0.56	0.54
query22	2.06	2.51	1.44
query23	16.98	0.91	0.92
query24	5.89	2.94	1.29
query25	0.38	0.11	0.06
query26	0.83	0.15	0.15
query27	0.05	0.04	0.03
query28	5.35	0.80	0.81
query29	12.77	2.41	2.34
query30	0.53	0.52	0.57
query31	2.81	0.39	0.41
query32	3.37	0.51	0.50
query33	3.06	3.08	3.06
query34	15.27	4.78	4.75
query35	4.87	4.83	4.84
query36	1.08	1.01	1.01
query37	0.06	0.05	0.05
query38	0.04	0.03	0.03
query39	0.02	0.01	0.02
query40	0.17	0.13	0.15
query41	0.07	0.02	0.01
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 102.14 s
Total hot run time: 30.99 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 387fe3f64aadb2093ee8a0614c90faaf94ba6742 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.3 seconds inserted 10000000 Rows, about 469K ops/s

@github-actions github-actions bot added the area/planner Issues or PRs related to the query planner label Aug 23, 2024
@Toms1999
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49611 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a6284dab8481c2b59a8f5a942d348014a32b70a5, data reload: false

------ Round 1 ----------------------------------
q1	18044	4317	4325	4317
q2	2071	149	141	141
q3	10433	1873	1885	1873
q4	10295	1219	1320	1219
q5	8397	3868	3923	3868
q6	234	119	123	119
q7	2012	1610	1608	1608
q8	9298	2713	2689	2689
q9	10551	10280	10179	10179
q10	8609	3488	3510	3488
q11	420	238	256	238
q12	462	297	308	297
q13	18328	3966	3984	3966
q14	350	341	329	329
q15	527	456	464	456
q16	675	582	571	571
q17	1123	951	964	951
q18	7405	7029	6930	6930
q19	1715	1577	1546	1546
q20	509	314	289	289
q21	4433	4153	4556	4153
q22	487	410	384	384
Total cold run time: 116378 ms
Total hot run time: 49611 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4353	4361	4337	4337
q2	321	225	232	225
q3	4200	4160	4133	4133
q4	2752	2735	2739	2735
q5	7112	7141	7092	7092
q6	238	120	121	120
q7	3235	2801	2851	2801
q8	4407	4480	4507	4480
q9	17093	17213	17201	17201
q10	4376	4362	4296	4296
q11	753	668	722	668
q12	1043	841	862	841
q13	7793	3794	3757	3757
q14	470	433	430	430
q15	502	503	464	464
q16	749	684	669	669
q17	3893	3876	3878	3876
q18	8756	8788	8882	8788
q19	1704	1724	1676	1676
q20	2385	2139	2069	2069
q21	8520	8486	8437	8437
q22	1064	988	919	919
Total cold run time: 85719 ms
Total hot run time: 80014 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 202541 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a6284dab8481c2b59a8f5a942d348014a32b70a5, data reload: false

query1	933	398	432	398
query2	6557	2237	2225	2225
query3	6914	212	195	195
query4	20020	17948	18067	17948
query5	19725	6513	6526	6513
query6	308	223	226	223
query7	4246	299	314	299
query8	278	261	237	237
query9	3134	2687	2660	2660
query10	429	301	302	301
query11	11366	10701	10728	10701
query12	121	76	79	76
query13	5597	638	682	638
query14	18351	13259	13536	13259
query15	366	218	230	218
query16	6452	285	261	261
query17	1739	1460	861	861
query18	2320	438	415	415
query19	207	155	152	152
query20	81	82	81	81
query21	188	100	94	94
query22	5302	4986	5093	4986
query23	32686	31967	32127	31967
query24	6807	6501	6534	6501
query25	507	437	433	433
query26	533	164	164	164
query27	1873	299	291	291
query28	6128	2290	2266	2266
query29	2908	2756	2764	2756
query30	239	167	165	165
query31	928	726	763	726
query32	74	60	60	60
query33	398	263	265	263
query34	876	473	466	466
query35	1140	920	907	907
query36	1320	1143	1220	1143
query37	89	64	63	63
query38	3103	2907	2915	2907
query39	1369	1343	1315	1315
query40	216	99	97	97
query41	38	37	36	36
query42	86	87	82	82
query43	606	534	588	534
query44	1121	714	716	714
query45	243	231	233	231
query46	1235	961	963	961
query47	1817	1815	1764	1764
query48	998	668	666	666
query49	626	378	395	378
query50	862	590	636	590
query51	4769	4671	4661	4661
query52	103	79	93	79
query53	448	328	331	328
query54	2669	2489	2493	2489
query55	88	81	88	81
query56	261	222	214	214
query57	1201	1188	1107	1107
query58	217	207	194	194
query59	3482	3235	3155	3155
query60	204	206	210	206
query61	96	94	97	94
query62	854	465	464	464
query63	495	347	344	344
query64	2588	1569	1521	1521
query65	3602	3536	3596	3536
query66	798	382	379	379
query67	15351	17517	15328	15328
query68	7120	627	650	627
query69	564	349	348	348
query70	1694	1461	1397	1397
query71	404	311	324	311
query72	6618	3528	3543	3528
query73	746	323	316	316
query74	6344	5812	5933	5812
query75	4611	3756	3743	3743
query76	4418	1133	1215	1133
query77	539	260	260	260
query78	12499	12367	11864	11864
query79	8813	674	653	653
query80	1683	396	406	396
query81	522	234	238	234
query82	657	99	100	99
query83	166	134	140	134
query84	252	72	70	70
query85	799	320	326	320
query86	373	319	302	302
query87	3236	3024	3007	3007
query88	4942	2333	2323	2323
query89	385	312	311	311
query90	1858	210	218	210
query91	168	120	128	120
query92	60	53	53	53
query93	5076	583	587	583
query94	809	208	207	207
query95	1140	1048	1060	1048
query96	639	333	333	333
query97	6452	6399	6419	6399
query98	189	176	182	176
query99	2817	882	857	857
Total cold run time: 307279 ms
Total hot run time: 202541 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.9 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a6284dab8481c2b59a8f5a942d348014a32b70a5, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.25	0.05	0.05
query4	1.79	0.10	0.10
query5	0.53	0.52	0.52
query6	1.23	0.61	0.63
query7	0.01	0.01	0.01
query8	0.03	0.03	0.03
query9	0.54	0.47	0.47
query10	0.53	0.53	0.54
query11	0.12	0.08	0.09
query12	0.12	0.09	0.10
query13	0.62	0.62	0.60
query14	0.77	0.78	0.80
query15	0.79	0.76	0.76
query16	0.37	0.38	0.36
query17	1.03	1.00	0.97
query18	0.23	0.25	0.24
query19	1.95	1.87	1.89
query20	0.01	0.02	0.02
query21	15.46	0.57	0.54
query22	2.02	1.82	1.52
query23	17.09	1.08	0.95
query24	5.54	1.86	1.18
query25	0.37	0.12	0.04
query26	0.68	0.16	0.19
query27	0.04	0.05	0.03
query28	6.89	0.77	0.72
query29	12.62	2.40	2.42
query30	0.61	0.53	0.48
query31	2.79	0.38	0.36
query32	3.39	0.49	0.50
query33	3.05	3.09	3.06
query34	15.24	4.77	4.79
query35	4.84	4.83	4.85
query36	1.04	1.00	1.00
query37	0.06	0.04	0.05
query38	0.03	0.02	0.02
query39	0.02	0.02	0.01
query40	0.16	0.14	0.14
query41	0.07	0.02	0.01
query42	0.02	0.01	0.02
query43	0.02	0.02	0.01
Total cold run time: 103.06 s
Total hot run time: 30.9 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit a6284dab8481c2b59a8f5a942d348014a32b70a5 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.8 seconds inserted 10000000 Rows, about 458K ops/s

@Toms1999
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49582 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 281e9109d12e8953b43185506bf7501b9e6c9708, data reload: false

------ Round 1 ----------------------------------
q1	17832	4438	4357	4357
q2	2033	188	142	142
q3	10390	1892	1965	1892
q4	10341	1269	1325	1269
q5	8516	3915	3860	3860
q6	222	127	127	127
q7	2005	1617	1579	1579
q8	9251	2732	2709	2709
q9	10618	10461	10129	10129
q10	8609	3543	3534	3534
q11	422	258	255	255
q12	466	298	300	298
q13	18368	3962	4041	3962
q14	353	338	343	338
q15	503	458	458	458
q16	694	576	578	576
q17	1133	950	980	950
q18	7296	6794	7007	6794
q19	1687	1582	1561	1561
q20	564	313	304	304
q21	4442	4164	4092	4092
q22	491	396	398	396
Total cold run time: 116236 ms
Total hot run time: 49582 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4317	4321	4300	4300
q2	317	221	225	221
q3	4194	4153	4142	4142
q4	2761	2745	2762	2745
q5	7123	7123	7073	7073
q6	239	121	120	120
q7	3238	2837	2931	2837
q8	4354	4430	4539	4430
q9	16861	16688	16667	16667
q10	4230	4249	4242	4242
q11	776	703	732	703
q12	1019	856	862	856
q13	7132	3741	3738	3738
q14	443	428	415	415
q15	501	452	449	449
q16	747	681	681	681
q17	3894	3852	3898	3852
q18	8754	8888	8772	8772
q19	1705	1700	1613	1613
q20	2390	2130	2123	2123
q21	8462	8366	8521	8366
q22	1083	968	962	962
Total cold run time: 84540 ms
Total hot run time: 79307 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 201996 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 281e9109d12e8953b43185506bf7501b9e6c9708, data reload: false

query1	929	387	417	387
query2	6549	2191	1978	1978
query3	6927	208	205	205
query4	20782	18015	17986	17986
query5	19746	6571	6575	6571
query6	293	226	230	226
query7	4158	314	319	314
query8	248	238	256	238
query9	3124	2697	2631	2631
query10	411	313	289	289
query11	11265	10758	10736	10736
query12	121	76	75	75
query13	5596	667	653	653
query14	18018	13567	13679	13567
query15	360	214	220	214
query16	6444	296	262	262
query17	1690	1453	896	896
query18	2285	410	424	410
query19	207	151	148	148
query20	75	76	79	76
query21	186	102	95	95
query22	5209	5072	4949	4949
query23	32547	31955	31940	31940
query24	6907	6459	6501	6459
query25	527	443	426	426
query26	527	162	162	162
query27	1926	296	297	296
query28	6117	2298	2276	2276
query29	2941	2659	2653	2653
query30	251	169	165	165
query31	894	764	748	748
query32	67	61	63	61
query33	409	255	247	247
query34	847	471	472	471
query35	1124	938	918	918
query36	1402	1183	1186	1183
query37	95	59	59	59
query38	3028	2900	2911	2900
query39	1383	1335	1309	1309
query40	212	97	102	97
query41	38	38	36	36
query42	88	86	88	86
query43	685	608	600	600
query44	1117	722	720	720
query45	245	226	235	226
query46	1225	970	976	970
query47	2038	1770	1678	1678
query48	979	680	667	667
query49	625	377	378	377
query50	860	614	640	614
query51	4848	4646	4745	4646
query52	100	88	95	88
query53	448	329	317	317
query54	2643	2461	2440	2440
query55	94	85	79	79
query56	237	200	218	200
query57	1248	1132	1130	1130
query58	222	201	198	198
query59	3620	3387	3187	3187
query60	224	215	205	205
query61	96	95	95	95
query62	806	535	526	526
query63	496	343	344	343
query64	2255	1536	1388	1388
query65	3602	3569	3584	3569
query66	801	374	379	374
query67	16027	16181	15451	15451
query68	8810	659	645	645
query69	574	370	365	365
query70	1626	1363	1553	1363
query71	408	312	322	312
query72	6570	3459	3501	3459
query73	733	325	321	321
query74	6271	5820	5797	5797
query75	5359	3787	3615	3615
query76	5529	1141	1159	1141
query77	921	259	256	256
query78	12489	11655	11478	11478
query79	8476	642	656	642
query80	1213	407	413	407
query81	496	235	231	231
query82	1702	102	104	102
query83	178	139	135	135
query84	259	73	70	70
query85	876	316	316	316
query86	324	309	299	299
query87	3182	3007	3064	3007
query88	5070	2312	2299	2299
query89	393	296	309	296
query90	1972	210	217	210
query91	160	121	121	121
query92	60	62	52	52
query93	5584	573	562	562
query94	704	204	207	204
query95	1133	1085	1072	1072
query96	632	330	325	325
query97	6440	6428	6368	6368
query98	206	181	175	175
query99	2979	865	924	865
Total cold run time: 312823 ms
Total hot run time: 201996 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.91 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 281e9109d12e8953b43185506bf7501b9e6c9708, data reload: false

query1	0.02	0.02	0.03
query2	0.07	0.02	0.02
query3	0.25	0.04	0.04
query4	1.81	0.07	0.08
query5	0.54	0.53	0.52
query6	1.24	0.62	0.62
query7	0.01	0.01	0.02
query8	0.03	0.02	0.02
query9	0.58	0.49	0.47
query10	0.55	0.53	0.54
query11	0.13	0.09	0.09
query12	0.12	0.09	0.10
query13	0.62	0.62	0.61
query14	0.79	0.77	0.80
query15	0.78	0.76	0.74
query16	0.35	0.40	0.36
query17	1.03	0.97	0.98
query18	0.24	0.24	0.24
query19	1.84	1.88	1.85
query20	0.02	0.01	0.01
query21	15.45	0.55	0.56
query22	2.08	1.81	1.84
query23	17.21	0.98	0.91
query24	4.85	0.96	2.85
query25	0.37	0.11	0.05
query26	0.72	0.16	0.15
query27	0.03	0.05	0.04
query28	6.49	0.74	0.76
query29	12.74	2.35	2.35
query30	0.56	0.52	0.52
query31	2.80	0.38	0.37
query32	3.38	0.50	0.49
query33	3.06	3.09	3.06
query34	15.26	4.78	4.78
query35	4.86	4.86	4.82
query36	1.06	1.04	1.01
query37	0.06	0.05	0.04
query38	0.03	0.02	0.02
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.07	0.01	0.02
query42	0.02	0.01	0.01
query43	0.02	0.02	0.02
Total cold run time: 102.32 s
Total hot run time: 30.91 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 281e9109d12e8953b43185506bf7501b9e6c9708 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.4 seconds inserted 10000000 Rows, about 467K ops/s

@Toms1999
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49474 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bde9e8ab15ff297edbc777d60572f81fdc0bc3af, data reload: false

------ Round 1 ----------------------------------
q1	17854	4367	4357	4357
q2	2062	153	150	150
q3	10281	1896	1919	1896
q4	10359	1256	1322	1256
q5	8520	3863	3914	3863
q6	232	122	124	122
q7	2017	1618	1601	1601
q8	9334	2731	2714	2714
q9	10578	10313	10227	10227
q10	8640	3529	3525	3525
q11	418	237	249	237
q12	475	296	302	296
q13	18355	3932	4032	3932
q14	355	315	330	315
q15	517	461	462	461
q16	696	580	576	576
q17	1131	943	957	943
q18	7214	6838	6773	6773
q19	1697	1512	1457	1457
q20	529	290	308	290
q21	4449	4151	4089	4089
q22	505	394	394	394
Total cold run time: 116218 ms
Total hot run time: 49474 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4350	4291	4327	4291
q2	319	222	219	219
q3	4192	4130	4142	4130
q4	2746	2734	2769	2734
q5	7219	7021	7129	7021
q6	235	118	118	118
q7	3228	2890	2829	2829
q8	4361	4456	4456	4456
q9	16830	16728	16703	16703
q10	4202	4255	4245	4245
q11	778	706	640	640
q12	1025	872	839	839
q13	7364	3803	3780	3780
q14	459	432	419	419
q15	506	459	451	451
q16	729	666	673	666
q17	3893	3852	3841	3841
q18	8788	8777	8784	8777
q19	1725	1705	1608	1608
q20	2402	2168	2094	2094
q21	8464	8550	8501	8501
q22	1015	933	953	933
Total cold run time: 84830 ms
Total hot run time: 79295 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 203225 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bde9e8ab15ff297edbc777d60572f81fdc0bc3af, data reload: false

query1	926	392	411	392
query2	6529	2226	2251	2226
query3	6925	206	200	200
query4	20139	18058	18006	18006
query5	19737	6509	6626	6509
query6	292	228	254	228
query7	4163	298	302	298
query8	254	278	257	257
query9	3206	2737	2669	2669
query10	427	311	284	284
query11	11497	10748	10710	10710
query12	120	77	75	75
query13	5609	657	646	646
query14	17809	13642	13684	13642
query15	355	224	225	224
query16	6452	288	265	265
query17	1698	1462	880	880
query18	2296	418	416	416
query19	218	151	150	150
query20	76	80	83	80
query21	191	104	92	92
query22	5204	5079	4993	4993
query23	32642	31819	32066	31819
query24	6996	6484	6539	6484
query25	539	435	424	424
query26	528	169	164	164
query27	1876	295	292	292
query28	6138	2293	2269	2269
query29	2923	2852	2852	2852
query30	248	167	170	167
query31	922	722	745	722
query32	64	63	61	61
query33	413	263	252	252
query34	847	456	472	456
query35	1136	893	913	893
query36	1413	1120	1231	1120
query37	88	70	63	63
query38	3086	2953	2957	2953
query39	1362	1316	1321	1316
query40	210	86	102	86
query41	39	36	35	35
query42	85	93	86	86
query43	663	634	653	634
query44	1140	724	727	724
query45	242	234	228	228
query46	1254	958	978	958
query47	1867	1704	1748	1704
query48	995	700	682	682
query49	622	376	379	376
query50	877	629	602	602
query51	4821	4636	4704	4636
query52	92	80	88	80
query53	439	319	332	319
query54	2678	2482	2464	2464
query55	95	83	80	80
query56	233	221	207	207
query57	1190	1103	1190	1103
query58	216	205	209	205
query59	3460	3250	3164	3164
query60	209	198	226	198
query61	97	94	94	94
query62	858	483	462	462
query63	485	348	344	344
query64	2434	1545	1516	1516
query65	3620	3555	3525	3525
query66	816	385	379	379
query67	17396	15979	17017	15979
query68	8229	645	658	645
query69	556	356	344	344
query70	1750	1462	1469	1462
query71	400	301	321	301
query72	6537	3474	3507	3474
query73	741	333	326	326
query74	6346	5935	5942	5935
query75	4688	3728	3676	3676
query76	4577	1142	1238	1142
query77	561	260	270	260
query78	12542	11573	11702	11573
query79	7009	634	632	632
query80	2591	406	407	406
query81	523	245	238	238
query82	1267	102	101	101
query83	188	135	131	131
query84	262	71	73	71
query85	1436	319	322	319
query86	360	310	293	293
query87	3217	2977	3006	2977
query88	5214	2299	2304	2299
query89	379	299	291	291
query90	1683	219	205	205
query91	157	122	127	122
query92	64	55	56	55
query93	2353	593	598	593
query94	896	216	205	205
query95	1130	1069	1052	1052
query96	640	323	328	323
query97	6492	6404	6350	6350
query98	195	177	179	177
query99	2985	855	828	828
Total cold run time: 308445 ms
Total hot run time: 203225 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.5 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bde9e8ab15ff297edbc777d60572f81fdc0bc3af, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.03
query3	0.26	0.04	0.05
query4	1.79	0.06	0.06
query5	0.53	0.52	0.52
query6	1.23	0.61	0.61
query7	0.01	0.02	0.01
query8	0.04	0.03	0.02
query9	0.55	0.49	0.47
query10	0.54	0.52	0.53
query11	0.12	0.09	0.09
query12	0.12	0.09	0.10
query13	0.62	0.61	0.62
query14	0.78	0.79	0.80
query15	0.77	0.78	0.76
query16	0.40	0.37	0.39
query17	0.97	1.03	1.02
query18	0.23	0.25	0.24
query19	1.87	1.87	1.81
query20	0.02	0.01	0.01
query21	15.44	0.56	0.55
query22	2.11	2.76	1.47
query23	16.74	1.04	0.85
query24	7.26	1.52	0.92
query25	0.39	0.07	0.06
query26	0.80	0.16	0.16
query27	0.04	0.05	0.04
query28	5.45	0.80	0.75
query29	12.73	2.39	2.32
query30	0.64	0.55	0.53
query31	2.81	0.39	0.37
query32	3.38	0.50	0.49
query33	3.08	3.04	3.10
query34	15.26	4.78	4.77
query35	4.86	4.85	4.83
query36	1.06	1.00	1.02
query37	0.06	0.05	0.04
query38	0.04	0.02	0.02
query39	0.02	0.02	0.02
query40	0.16	0.14	0.14
query41	0.07	0.01	0.02
query42	0.02	0.01	0.02
query43	0.02	0.02	0.02
Total cold run time: 103.38 s
Total hot run time: 30.5 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit bde9e8ab15ff297edbc777d60572f81fdc0bc3af with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.1 seconds inserted 10000000 Rows, about 473K ops/s

@924060929 924060929 merged commit 30a1ffe into apache:branch-2.0 Aug 26, 2024
mongo360 pushed a commit to mongo360/doris that referenced this pull request Dec 11, 2024
…39810)

throw table name/alias conflict exception to keep same behavior with mysql

for example:
```sql
select * from test.a b, test.b
```

error:
```
Not unique table/alias: 'b'
```
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

area/nereids area/planner Issues or PRs related to the query planner kind/test

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants