Skip to content

Conversation

@zddr
Copy link
Contributor

@zddr zddr commented Aug 23, 2024

pick: #39597

grant stmt check ctl/db/table if exist
@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@zddr
Copy link
Contributor Author

zddr commented Aug 23, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49310 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6cf50426ca2e1d84fd6668cbc06195ae8fc9c425, data reload: false

------ Round 1 ----------------------------------
q1	17797	4393	4314	4314
q2	2057	152	141	141
q3	10278	1898	1913	1898
q4	10339	1245	1323	1245
q5	8399	3869	3891	3869
q6	232	122	124	122
q7	2044	1656	1604	1604
q8	9265	2702	2677	2677
q9	10766	10344	9984	9984
q10	8588	3528	3494	3494
q11	419	236	247	236
q12	465	300	303	300
q13	18638	3939	4036	3939
q14	358	329	345	329
q15	507	455	464	455
q16	684	583	577	577
q17	1121	956	985	956
q18	7379	6916	6867	6867
q19	1711	1566	1536	1536
q20	528	298	302	298
q21	4467	4156	4076	4076
q22	506	393	396	393
Total cold run time: 116548 ms
Total hot run time: 49310 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4344	4341	4343	4341
q2	326	233	227	227
q3	4164	4149	4179	4149
q4	2759	2732	2749	2732
q5	7162	7103	7076	7076
q6	234	123	119	119
q7	3278	2943	2830	2830
q8	4525	4647	4640	4640
q9	17144	17129	16952	16952
q10	4250	4315	4263	4263
q11	772	710	709	709
q12	1029	866	862	862
q13	7425	3753	3697	3697
q14	442	418	441	418
q15	510	448	456	448
q16	733	682	678	678
q17	3827	3881	3835	3835
q18	8770	8635	8708	8635
q19	1715	1685	1634	1634
q20	2360	2130	2118	2118
q21	8407	8476	8502	8476
q22	1029	972	957	957
Total cold run time: 85205 ms
Total hot run time: 79796 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 201086 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6cf50426ca2e1d84fd6668cbc06195ae8fc9c425, data reload: false

query1	930	390	420	390
query2	6545	2160	2121	2121
query3	6927	206	201	201
query4	20720	18031	18116	18031
query5	19743	6463	6498	6463
query6	287	219	236	219
query7	4183	299	315	299
query8	247	251	245	245
query9	3119	2722	2644	2644
query10	409	311	291	291
query11	11400	10840	10614	10614
query12	126	77	73	73
query13	5595	650	652	650
query14	18278	13457	13436	13436
query15	361	226	234	226
query16	6448	289	268	268
query17	1529	1465	892	892
query18	2250	412	406	406
query19	201	147	157	147
query20	74	81	78	78
query21	194	102	91	91
query22	5245	4982	4936	4936
query23	32580	31926	31869	31869
query24	6836	6516	6481	6481
query25	528	435	423	423
query26	525	167	162	162
query27	1857	295	300	295
query28	6128	2282	2281	2281
query29	2897	2617	2778	2617
query30	240	169	165	165
query31	905	746	733	733
query32	62	63	61	61
query33	405	260	268	260
query34	854	473	488	473
query35	1127	921	923	921
query36	1389	1117	1168	1117
query37	92	60	61	60
query38	3042	2971	2929	2929
query39	1378	1323	1315	1315
query40	204	88	90	88
query41	39	37	36	36
query42	83	85	81	81
query43	656	557	646	557
query44	1117	712	717	712
query45	240	229	231	229
query46	1230	953	956	953
query47	2053	1746	1677	1677
query48	984	683	665	665
query49	615	363	366	363
query50	879	596	618	596
query51	4840	4609	4696	4609
query52	92	76	83	76
query53	439	328	317	317
query54	2659	2450	2409	2409
query55	93	76	85	76
query56	266	211	216	211
query57	1141	1199	1100	1100
query58	215	209	197	197
query59	3374	3493	3071	3071
query60	218	193	199	193
query61	96	90	93	90
query62	788	489	444	444
query63	490	343	341	341
query64	2535	1522	1473	1473
query65	3624	3551	3545	3545
query66	776	375	369	369
query67	17787	17415	15026	15026
query68	8175	663	654	654
query69	586	343	347	343
query70	1542	1377	1451	1377
query71	406	298	329	298
query72	6631	3502	3476	3476
query73	739	324	310	310
query74	6271	5866	5787	5787
query75	4576	3758	3709	3709
query76	4675	1148	1182	1148
query77	558	254	254	254
query78	12672	11775	11642	11642
query79	9558	638	688	638
query80	1492	413	394	394
query81	506	236	242	236
query82	1673	101	95	95
query83	175	132	129	129
query84	263	75	72	72
query85	881	317	319	317
query86	332	293	291	291
query87	3215	3008	3028	3008
query88	5004	2313	2292	2292
query89	465	300	312	300
query90	1949	217	217	217
query91	166	121	133	121
query92	60	56	53	53
query93	6310	568	563	563
query94	737	214	213	213
query95	1143	1060	1069	1060
query96	649	326	318	318
query97	6468	6331	6337	6331
query98	192	169	174	169
query99	3028	1017	884	884
Total cold run time: 314286 ms
Total hot run time: 201086 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.62 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6cf50426ca2e1d84fd6668cbc06195ae8fc9c425, data reload: false

query1	0.02	0.02	0.02
query2	0.06	0.02	0.02
query3	0.24	0.04	0.04
query4	1.80	0.06	0.07
query5	0.55	0.53	0.51
query6	1.25	0.61	0.61
query7	0.02	0.01	0.01
query8	0.04	0.03	0.02
query9	0.54	0.50	0.48
query10	0.55	0.53	0.53
query11	0.13	0.09	0.09
query12	0.12	0.10	0.09
query13	0.62	0.61	0.62
query14	0.80	0.79	0.78
query15	0.80	0.76	0.75
query16	0.36	0.35	0.36
query17	1.02	1.01	1.01
query18	0.21	0.29	0.19
query19	1.93	1.83	1.75
query20	0.01	0.00	0.01
query21	15.49	0.55	0.55
query22	2.12	2.22	1.70
query23	17.30	1.05	0.94
query24	4.29	0.87	1.53
query25	0.35	0.08	0.07
query26	0.59	0.15	0.15
query27	0.04	0.04	0.04
query28	8.46	0.77	0.71
query29	12.61	2.35	2.34
query30	0.58	0.53	0.55
query31	2.82	0.38	0.37
query32	3.41	0.49	0.49
query33	3.08	3.06	3.08
query34	15.26	4.84	4.78
query35	4.87	4.86	4.83
query36	1.06	1.02	1.01
query37	0.05	0.04	0.05
query38	0.03	0.02	0.02
query39	0.02	0.01	0.01
query40	0.16	0.14	0.14
query41	0.06	0.02	0.02
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.76 s
Total hot run time: 30.62 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 6cf50426ca2e1d84fd6668cbc06195ae8fc9c425 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.1 seconds inserted 10000000 Rows, about 473K ops/s

@morrySnow
Copy link
Contributor

run feut

@zddr
Copy link
Contributor Author

zddr commented Aug 29, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49451 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c3896e8df7f175ff1b1d8aad5e8be4d7ec3a30a0, data reload: false

------ Round 1 ----------------------------------
q1	17800	4421	4329	4329
q2	2053	156	150	150
q3	10328	1887	1922	1887
q4	10106	1251	1323	1251
q5	8456	3884	3932	3884
q6	226	125	123	123
q7	2032	1640	1591	1591
q8	9481	2730	2718	2718
q9	13973	10410	10114	10114
q10	8633	3546	3528	3528
q11	413	243	248	243
q12	467	298	296	296
q13	18390	3999	3992	3992
q14	365	330	321	321
q15	512	457	459	457
q16	675	566	570	566
q17	1147	975	930	930
q18	7200	6811	6842	6811
q19	1692	1554	1471	1471
q20	532	327	311	311
q21	4427	4146	4098	4098
q22	503	405	380	380
Total cold run time: 119411 ms
Total hot run time: 49451 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4338	4268	4267	4267
q2	323	227	229	227
q3	4152	4131	4106	4106
q4	2766	2729	2729	2729
q5	7148	7087	7085	7085
q6	242	123	119	119
q7	3204	2843	2825	2825
q8	4355	4506	4509	4506
q9	16886	16724	16906	16724
q10	4229	4232	4263	4232
q11	757	680	680	680
q12	1017	845	848	845
q13	6575	3776	3768	3768
q14	457	434	433	433
q15	497	461	453	453
q16	742	675	669	669
q17	3846	3838	3762	3762
q18	8886	8754	8787	8754
q19	1725	1699	1680	1680
q20	2371	2175	2104	2104
q21	8494	8408	8469	8408
q22	1015	931	960	931
Total cold run time: 84025 ms
Total hot run time: 79307 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 203206 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c3896e8df7f175ff1b1d8aad5e8be4d7ec3a30a0, data reload: false

query1	927	391	414	391
query2	6530	2062	2099	2062
query3	6926	210	200	200
query4	20705	18139	18152	18139
query5	19739	6496	6518	6496
query6	288	221	236	221
query7	4161	297	319	297
query8	264	253	276	253
query9	3176	2759	2689	2689
query10	408	303	305	303
query11	11458	10877	10820	10820
query12	122	75	82	75
query13	5607	654	658	654
query14	17662	13642	13874	13642
query15	360	230	232	230
query16	6492	293	262	262
query17	1703	1451	892	892
query18	2312	419	409	409
query19	208	151	152	151
query20	76	80	78	78
query21	189	101	98	98
query22	5207	5071	5065	5065
query23	32550	32071	31756	31756
query24	7057	6535	6513	6513
query25	522	436	434	434
query26	651	163	158	158
query27	2066	292	297	292
query28	6111	2307	2275	2275
query29	2925	2833	2631	2631
query30	244	165	164	164
query31	949	749	730	730
query32	70	60	64	60
query33	406	248	272	248
query34	854	479	474	474
query35	1145	918	913	913
query36	1451	1214	1281	1214
query37	92	62	63	62
query38	3090	2940	2988	2940
query39	1363	1346	1325	1325
query40	303	94	94	94
query41	40	37	37	37
query42	83	92	89	89
query43	601	701	596	596
query44	1127	720	717	717
query45	244	230	234	230
query46	1236	978	968	968
query47	2130	2038	1708	1708
query48	1003	700	699	699
query49	639	372	368	368
query50	857	614	620	614
query51	4774	4660	4675	4660
query52	97	81	92	81
query53	448	326	322	322
query54	2664	2451	2417	2417
query55	97	76	81	76
query56	237	212	213	212
query57	1319	1065	1025	1025
query58	217	201	205	201
query59	3429	3221	3318	3221
query60	223	194	205	194
query61	99	96	119	96
query62	829	437	549	437
query63	477	339	343	339
query64	2811	1534	1493	1493
query65	3623	3611	3572	3572
query66	804	381	364	364
query67	17267	17393	15704	15704
query68	8293	645	647	645
query69	554	339	350	339
query70	1696	1403	1382	1382
query71	392	305	325	305
query72	6575	3506	3501	3501
query73	749	323	333	323
query74	6349	5880	5859	5859
query75	4611	3734	3677	3677
query76	4607	1109	1141	1109
query77	588	265	262	262
query78	12473	11864	11879	11864
query79	7685	646	665	646
query80	1074	417	412	412
query81	492	238	235	235
query82	1480	104	98	98
query83	173	133	130	130
query84	260	71	68	68
query85	942	330	336	330
query86	342	310	293	293
query87	3238	3044	3047	3044
query88	4995	2305	2307	2305
query89	397	267	303	267
query90	1879	218	211	211
query91	154	119	121	119
query92	61	54	54	54
query93	5003	610	594	594
query94	774	216	207	207
query95	1089	1076	1052	1052
query96	641	319	330	319
query97	6462	6404	6488	6404
query98	198	189	172	172
query99	2884	830	893	830
Total cold run time: 310854 ms
Total hot run time: 203206 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c3896e8df7f175ff1b1d8aad5e8be4d7ec3a30a0, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.03
query3	0.26	0.05	0.04
query4	1.79	0.07	0.07
query5	0.54	0.53	0.52
query6	1.25	0.62	0.65
query7	0.02	0.01	0.00
query8	0.04	0.02	0.02
query9	0.52	0.47	0.47
query10	0.53	0.54	0.53
query11	0.12	0.09	0.09
query12	0.12	0.09	0.09
query13	0.63	0.62	0.61
query14	0.78	0.80	0.78
query15	0.79	0.76	0.76
query16	0.36	0.35	0.37
query17	1.02	1.01	1.00
query18	0.22	0.26	0.23
query19	1.92	1.86	1.84
query20	0.01	0.00	0.01
query21	15.44	0.57	0.55
query22	2.12	2.48	1.99
query23	17.25	1.02	0.90
query24	5.32	1.00	1.16
query25	0.40	0.13	0.05
query26	0.52	0.14	0.14
query27	0.05	0.04	0.04
query28	7.69	0.73	0.72
query29	12.62	2.28	2.26
query30	0.57	0.52	0.55
query31	2.80	0.39	0.37
query32	3.39	0.49	0.49
query33	3.04	3.09	3.05
query34	15.27	4.78	4.78
query35	4.83	4.82	4.83
query36	1.04	1.01	1.01
query37	0.06	0.04	0.05
query38	0.03	0.02	0.02
query39	0.03	0.01	0.02
query40	0.16	0.14	0.14
query41	0.06	0.02	0.01
query42	0.02	0.01	0.01
query43	0.03	0.02	0.01
Total cold run time: 103.75 s
Total hot run time: 31 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit c3896e8df7f175ff1b1d8aad5e8be4d7ec3a30a0 with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.8 seconds inserted 10000000 Rows, about 458K ops/s

@zddr
Copy link
Contributor Author

zddr commented Aug 29, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49402 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7ee23dcf0e8255aaf77ae54d6bf8f6bd2f34e824, data reload: false

------ Round 1 ----------------------------------
q1	17701	4323	4362	4323
q2	2060	154	148	148
q3	10256	1856	1951	1856
q4	10356	1252	1336	1252
q5	8679	3917	3894	3894
q6	235	127	127	127
q7	2040	1630	1610	1610
q8	9340	2725	2689	2689
q9	10544	10280	10149	10149
q10	8607	3523	3507	3507
q11	427	248	253	248
q12	470	307	304	304
q13	18329	3938	4039	3938
q14	351	327	334	327
q15	511	458	461	458
q16	675	578	586	578
q17	1115	933	915	915
q18	7174	6732	6800	6732
q19	1695	1540	1537	1537
q20	538	312	300	300
q21	4467	4114	4142	4114
q22	507	411	396	396
Total cold run time: 116077 ms
Total hot run time: 49402 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4301	4276	4330	4276
q2	316	225	220	220
q3	4176	4136	4158	4136
q4	2754	2749	2736	2736
q5	7092	7075	7049	7049
q6	236	119	124	119
q7	3267	2895	2859	2859
q8	4362	4456	4464	4456
q9	16899	16860	16888	16860
q10	4280	4300	4283	4283
q11	756	685	673	673
q12	1013	886	842	842
q13	6965	3801	3799	3799
q14	469	437	422	422
q15	500	454	464	454
q16	755	722	694	694
q17	3843	3803	3875	3803
q18	8822	8737	8820	8737
q19	1740	1727	1689	1689
q20	2407	2234	2189	2189
q21	8869	8717	8838	8717
q22	1132	1026	991	991
Total cold run time: 84954 ms
Total hot run time: 80004 ms

@zddr
Copy link
Contributor Author

zddr commented Aug 29, 2024

run feut

@doris-robot
Copy link

TPC-DS: Total hot run time: 202866 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7ee23dcf0e8255aaf77ae54d6bf8f6bd2f34e824, data reload: false

query1	914	387	407	387
query2	6541	2320	2182	2182
query3	6919	207	202	202
query4	20155	17925	18011	17925
query5	19737	6581	6557	6557
query6	408	221	245	221
query7	4998	309	311	309
query8	259	250	245	245
query9	3153	2700	2663	2663
query10	407	311	311	311
query11	11361	10843	10626	10626
query12	121	74	73	73
query13	5587	655	647	647
query14	19215	13260	13285	13260
query15	355	221	217	217
query16	6426	289	262	262
query17	1387	1463	901	901
query18	2257	420	408	408
query19	205	155	153	153
query20	80	78	81	78
query21	193	97	97	97
query22	5235	5067	4901	4901
query23	32714	32057	32048	32048
query24	6837	6537	6488	6488
query25	526	437	418	418
query26	524	164	164	164
query27	1792	301	294	294
query28	6122	2299	2262	2262
query29	2897	2852	2698	2698
query30	245	166	165	165
query31	920	733	753	733
query32	70	64	57	57
query33	405	265	248	248
query34	848	482	494	482
query35	1133	924	947	924
query36	1451	1176	1351	1176
query37	89	58	64	58
query38	3124	2894	2919	2894
query39	1380	1322	1334	1322
query40	207	97	95	95
query41	39	36	47	36
query42	85	81	83	81
query43	715	666	610	610
query44	1137	718	721	718
query45	245	232	236	232
query46	1245	996	1000	996
query47	1953	1696	1627	1627
query48	957	666	665	665
query49	612	381	363	363
query50	878	623	589	589
query51	4781	4754	4642	4642
query52	93	82	84	82
query53	447	319	336	319
query54	2657	2449	2480	2449
query55	86	81	86	81
query56	257	216	214	214
query57	1152	1028	1111	1028
query58	216	209	198	198
query59	3724	3355	3528	3355
query60	218	208	202	202
query61	95	92	95	92
query62	823	484	448	448
query63	479	345	342	342
query64	2391	1491	1490	1490
query65	3623	3548	3584	3548
query66	771	375	374	374
query67	16255	16788	16172	16172
query68	8566	681	660	660
query69	587	343	361	343
query70	1589	1407	1379	1379
query71	419	318	325	318
query72	6617	3494	3483	3483
query73	726	336	324	324
query74	6258	5870	5795	5795
query75	4727	3713	3611	3611
query76	4790	1137	1237	1137
query77	647	253	269	253
query78	12611	12380	11778	11778
query79	9915	638	645	638
query80	1484	400	405	400
query81	502	231	239	231
query82	1216	98	96	96
query83	176	134	137	134
query84	250	71	69	69
query85	1290	319	316	316
query86	367	319	292	292
query87	3225	2983	3065	2983
query88	5151	2307	2301	2301
query89	460	290	306	290
query90	1922	206	216	206
query91	157	121	123	121
query92	58	51	53	51
query93	5894	584	579	579
query94	993	212	212	212
query95	1141	1081	1093	1081
query96	641	326	325	325
query97	6358	6426	6377	6377
query98	188	181	175	175
query99	2822	804	887	804
Total cold run time: 314878 ms
Total hot run time: 202866 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.82 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7ee23dcf0e8255aaf77ae54d6bf8f6bd2f34e824, data reload: false

query1	0.02	0.03	0.02
query2	0.07	0.03	0.02
query3	0.25	0.05	0.04
query4	1.80	0.06	0.06
query5	0.53	0.52	0.52
query6	1.23	0.62	0.60
query7	0.01	0.02	0.01
query8	0.03	0.03	0.02
query9	0.53	0.49	0.47
query10	0.54	0.54	0.52
query11	0.12	0.09	0.09
query12	0.12	0.09	0.09
query13	0.62	0.62	0.63
query14	0.81	0.80	0.82
query15	0.80	0.79	0.78
query16	0.39	0.37	0.39
query17	1.04	1.05	1.02
query18	0.22	0.24	0.28
query19	1.95	1.84	1.88
query20	0.01	0.02	0.02
query21	15.46	0.55	0.56
query22	1.96	2.48	1.55
query23	17.18	1.00	1.05
query24	7.53	1.05	1.10
query25	0.37	0.13	0.05
query26	0.78	0.15	0.15
query27	0.04	0.04	0.04
query28	5.52	0.75	0.71
query29	12.62	2.36	2.28
query30	0.55	0.50	0.49
query31	2.81	0.40	0.37
query32	3.35	0.50	0.50
query33	3.08	3.03	3.05
query34	15.25	4.82	4.78
query35	4.86	4.84	4.85
query36	1.05	1.03	1.02
query37	0.05	0.05	0.04
query38	0.04	0.03	0.03
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.06	0.02	0.01
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.87 s
Total hot run time: 30.82 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 7ee23dcf0e8255aaf77ae54d6bf8f6bd2f34e824 with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.4 seconds inserted 10000000 Rows, about 467K ops/s

@zddr
Copy link
Contributor Author

zddr commented Aug 29, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 49628 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2437ec117a8beae728abca77b6f04737846d499f, data reload: false

------ Round 1 ----------------------------------
q1	18084	4463	4315	4315
q2	2076	156	150	150
q3	10505	1917	1950	1917
q4	10310	1264	1337	1264
q5	8562	3912	3925	3912
q6	235	125	124	124
q7	2045	1633	1605	1605
q8	9572	2752	2695	2695
q9	13826	10182	10113	10113
q10	8653	3567	3532	3532
q11	416	245	249	245
q12	457	307	298	298
q13	18340	3967	4086	3967
q14	366	320	318	318
q15	507	454	459	454
q16	671	573	580	573
q17	1144	945	924	924
q18	7209	6935	6899	6899
q19	1720	1587	1528	1528
q20	502	303	304	303
q21	4419	4200	4097	4097
q22	487	395	406	395
Total cold run time: 120106 ms
Total hot run time: 49628 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4310	4278	4302	4278
q2	324	228	228	228
q3	4155	4164	4131	4131
q4	2764	2729	2759	2729
q5	7125	7161	7105	7105
q6	241	119	124	119
q7	3189	2848	2870	2848
q8	4392	4464	4496	4464
q9	16955	16746	16845	16746
q10	4207	4253	4283	4253
q11	767	707	706	706
q12	1034	845	864	845
q13	6868	3750	3712	3712
q14	466	422	423	422
q15	511	456	447	447
q16	739	680	678	678
q17	3839	3823	3877	3823
q18	8780	8690	8679	8679
q19	1725	1705	1704	1704
q20	2370	2156	2104	2104
q21	8612	8480	8542	8480
q22	1023	957	955	955
Total cold run time: 84396 ms
Total hot run time: 79456 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 202921 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2437ec117a8beae728abca77b6f04737846d499f, data reload: false

query1	936	391	412	391
query2	6530	2284	2086	2086
query3	6932	210	199	199
query4	21298	18132	17926	17926
query5	19735	6528	6579	6528
query6	300	220	229	220
query7	4161	306	314	306
query8	265	229	272	229
query9	3166	2745	2681	2681
query10	421	302	311	302
query11	11443	10861	10933	10861
query12	132	75	79	75
query13	5592	652	651	651
query14	17842	13688	13388	13388
query15	365	220	244	220
query16	6437	291	267	267
query17	1694	1445	884	884
query18	2306	421	427	421
query19	210	153	154	153
query20	82	81	80	80
query21	191	102	93	93
query22	5205	5017	5058	5017
query23	32680	31905	31774	31774
query24	7015	6535	6444	6444
query25	524	435	429	429
query26	525	170	159	159
query27	1886	304	299	299
query28	6127	2338	2314	2314
query29	2840	2761	2675	2675
query30	236	169	168	168
query31	887	760	735	735
query32	65	65	61	61
query33	401	259	255	255
query34	856	478	484	478
query35	1115	948	955	948
query36	1393	1126	1077	1077
query37	87	60	60	60
query38	3071	2903	2972	2903
query39	1359	1313	1318	1313
query40	205	96	97	96
query41	41	37	35	35
query42	89	81	87	81
query43	657	584	627	584
query44	1122	729	733	729
query45	238	234	231	231
query46	1244	959	972	959
query47	1867	1620	1690	1620
query48	965	684	679	679
query49	635	368	365	365
query50	877	620	585	585
query51	4726	4713	4659	4659
query52	94	80	86	80
query53	447	321	324	321
query54	2675	2487	2442	2442
query55	92	77	80	77
query56	238	224	214	214
query57	1196	1141	1171	1141
query58	217	199	195	195
query59	3685	3307	3323	3307
query60	222	199	208	199
query61	99	94	96	94
query62	841	471	461	461
query63	483	350	334	334
query64	2470	1523	1411	1411
query65	3678	3555	3561	3555
query66	818	386	378	378
query67	18267	16015	18143	16015
query68	8217	674	660	660
query69	577	348	355	348
query70	1557	1340	1310	1310
query71	389	299	317	299
query72	6536	3518	3484	3484
query73	736	321	329	321
query74	6359	5931	5936	5931
query75	4497	3739	3682	3682
query76	4655	1144	1226	1144
query77	568	263	256	256
query78	12608	12267	11872	11872
query79	12511	647	650	647
query80	921	396	402	396
query81	498	236	231	231
query82	707	100	97	97
query83	197	136	136	136
query84	255	72	71	71
query85	822	315	316	315
query86	327	296	288	288
query87	3261	3054	3078	3054
query88	5858	2273	2301	2273
query89	402	277	289	277
query90	2671	204	204	204
query91	155	120	135	120
query92	59	53	55	53
query93	4958	624	588	588
query94	1284	210	203	203
query95	1098	1072	1044	1044
query96	646	317	320	317
query97	6503	6380	6332	6332
query98	195	173	178	173
query99	3183	878	884	878
Total cold run time: 317708 ms
Total hot run time: 202921 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.38 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2437ec117a8beae728abca77b6f04737846d499f, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.24	0.04	0.05
query4	1.79	0.08	0.07
query5	0.53	0.53	0.52
query6	1.25	0.62	0.61
query7	0.02	0.01	0.01
query8	0.03	0.02	0.02
query9	0.51	0.48	0.49
query10	0.54	0.53	0.53
query11	0.12	0.08	0.08
query12	0.12	0.09	0.08
query13	0.62	0.61	0.62
query14	0.81	0.79	0.77
query15	0.76	0.74	0.76
query16	0.37	0.39	0.39
query17	1.02	1.02	0.98
query18	0.23	0.25	0.24
query19	1.95	1.87	1.85
query20	0.01	0.00	0.00
query21	15.44	0.56	0.57
query22	2.32	2.07	1.55
query23	16.87	1.19	0.95
query24	7.21	0.91	0.85
query25	0.39	0.13	0.05
query26	0.71	0.16	0.16
query27	0.04	0.03	0.04
query28	6.19	0.75	0.74
query29	12.70	2.18	2.32
query30	0.56	0.52	0.50
query31	2.82	0.38	0.37
query32	3.39	0.51	0.49
query33	3.04	3.04	3.06
query34	15.22	4.80	4.79
query35	4.86	4.86	4.82
query36	1.05	1.02	1.00
query37	0.06	0.04	0.04
query38	0.04	0.02	0.02
query39	0.02	0.02	0.01
query40	0.17	0.15	0.14
query41	0.07	0.01	0.02
query42	0.02	0.01	0.02
query43	0.02	0.01	0.02
Total cold run time: 104.22 s
Total hot run time: 30.38 s

@doris-robot
Copy link

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 2437ec117a8beae728abca77b6f04737846d499f with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.8 seconds inserted 10000000 Rows, about 458K ops/s

@morrySnow morrySnow merged commit 40f021e into apache:branch-2.0 Sep 27, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants