[improve](udaf)support class cache for java-udaf

[zhangstar333]

Proposed changes

in some user case,

• the udf-jars package have some resource file, it's maybe about hundreds MBs,
  so if every instances load the jar, it's easy to cause the BE JVM OOM.

• or in some udf-jars have some init operator cause many times, so wants all instance could only init it's once.

follow up #40404
support class cache for java-udaf

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[zhangstar333]

run buildall

[doris-robot]

TPC-H: Total hot run time: 41472 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

------ Round 1 ----------------------------------
q1	17576	7570	7300	7300
q2	2055	288	277	277
q3	12141	1073	1197	1073
q4	10566	884	919	884
q5	7771	3109	3084	3084
q6	235	155	151	151
q7	1024	632	595	595
q8	9362	1908	1988	1908
q9	6624	6498	6429	6429
q10	7067	2426	2456	2426
q11	452	240	245	240
q12	416	226	229	226
q13	17789	3016	3037	3016
q14	238	212	226	212
q15	575	532	525	525
q16	648	575	571	571
q17	974	583	536	536
q18	7405	6715	6700	6700
q19	1349	1038	971	971
q20	486	189	180	180
q21	4019	3163	3253	3163
q22	1136	1045	1005	1005
Total cold run time: 109908 ms
Total hot run time: 41472 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7263	7290	7288	7288
q2	321	231	239	231
q3	3095	3043	3020	3020
q4	2177	1933	1870	1870
q5	5793	5815	5817	5815
q6	237	147	149	147
q7	2290	1824	1849	1824
q8	3407	3474	3529	3474
q9	9021	9030	9017	9017
q10	3591	3609	3592	3592
q11	608	488	502	488
q12	842	600	609	600
q13	10324	3187	3206	3187
q14	297	309	293	293
q15	568	521	516	516
q16	687	645	639	639
q17	1875	1626	1649	1626
q18	8377	7864	7773	7773
q19	1739	1499	1432	1432
q20	2135	1887	1872	1872
q21	5683	5424	5453	5424
q22	1183	1100	1065	1065
Total cold run time: 71513 ms
Total hot run time: 61193 ms

[doris-robot]

TPC-DS: Total hot run time: 192530 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

query1	878	395	410	395
query2	6260	2038	2033	2033
query3	8681	196	206	196
query4	34149	23631	23524	23524
query5	3597	469	460	460
query6	291	172	169	169
query7	4186	292	292	292
query8	308	222	224	222
query9	9493	2739	2731	2731
query10	465	274	259	259
query11	18116	15221	15118	15118
query12	149	103	101	101
query13	1577	436	412	412
query14	9155	7547	7537	7537
query15	262	170	184	170
query16	7760	470	495	470
query17	1582	611	596	596
query18	2127	306	302	302
query19	360	163	157	157
query20	128	115	119	115
query21	219	112	103	103
query22	4852	4660	4476	4476
query23	35203	34108	34327	34108
query24	10942	2779	2827	2779
query25	605	408	404	404
query26	1071	162	166	162
query27	2204	294	289	289
query28	7329	2450	2425	2425
query29	746	427	419	419
query30	250	155	164	155
query31	1058	773	789	773
query32	101	54	57	54
query33	756	301	300	300
query34	937	508	519	508
query35	913	776	740	740
query36	1101	946	955	946
query37	152	91	91	91
query38	4068	3957	3891	3891
query39	1487	1448	1432	1432
query40	218	100	98	98
query41	48	45	48	45
query42	127	101	98	98
query43	526	490	497	490
query44	1286	818	811	811
query45	193	165	173	165
query46	1135	706	720	706
query47	1937	1836	1853	1836
query48	429	316	325	316
query49	941	439	468	439
query50	827	393	393	393
query51	7309	7035	6960	6960
query52	106	86	89	86
query53	250	183	186	183
query54	1163	430	446	430
query55	81	80	77	77
query56	285	273	280	273
query57	1297	1149	1179	1149
query58	244	245	240	240
query59	3225	3155	3175	3155
query60	289	264	256	256
query61	100	112	106	106
query62	866	673	691	673
query63	222	188	182	182
query64	4004	632	626	626
query65	3308	3188	3201	3188
query66	749	304	311	304
query67	16072	15673	15695	15673
query68	4427	553	553	553
query69	454	293	294	293
query70	1203	1149	1138	1138
query71	361	283	287	283
query72	7153	3928	3941	3928
query73	765	352	355	352
query74	9587	9061	8990	8990
query75	3442	2668	2672	2668
query76	2687	911	962	911
query77	611	297	292	292
query78	10452	9578	9608	9578
query79	1964	602	597	597
query80	2512	453	471	453
query81	597	239	241	239
query82	693	147	144	144
query83	292	136	134	134
query84	265	73	72	72
query85	1683	302	293	293
query86	431	311	300	300
query87	4528	4295	4438	4295
query88	3224	2212	2174	2174
query89	403	286	287	286
query90	2080	190	187	187
query91	134	102	99	99
query92	62	48	48	48
query93	1773	547	538	538
query94	1110	281	297	281
query95	359	255	247	247
query96	614	278	292	278
query97	3293	3130	3121	3121
query98	218	201	198	198
query99	1663	1305	1288	1288
Total cold run time: 299795 ms
Total hot run time: 192530 ms

[doris-robot]

ClickBench: Total hot run time: 33.15 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

query1	0.04	0.04	0.03
query2	0.06	0.03	0.02
query3	0.23	0.07	0.07
query4	1.64	0.10	0.10
query5	0.53	0.50	0.52
query6	1.13	0.74	0.73
query7	0.02	0.02	0.02
query8	0.04	0.03	0.04
query9	0.58	0.50	0.51
query10	0.55	0.54	0.56
query11	0.13	0.11	0.11
query12	0.13	0.11	0.11
query13	0.61	0.62	0.59
query14	2.71	2.77	2.70
query15	0.90	0.83	0.85
query16	0.41	0.38	0.38
query17	1.06	0.99	1.05
query18	0.20	0.19	0.19
query19	1.88	1.79	1.91
query20	0.02	0.01	0.01
query21	15.38	0.58	0.57
query22	2.71	2.02	2.34
query23	17.04	0.91	0.73
query24	3.26	1.34	2.08
query25	0.28	0.29	0.09
query26	0.39	0.13	0.13
query27	0.04	0.04	0.04
query28	9.34	1.09	1.05
query29	12.55	3.26	3.23
query30	0.25	0.06	0.06
query31	2.87	0.38	0.37
query32	3.29	0.46	0.45
query33	3.01	3.04	3.06
query34	17.19	4.48	4.51
query35	4.59	4.55	4.53
query36	0.66	0.47	0.48
query37	0.08	0.06	0.06
query38	0.04	0.03	0.03
query39	0.04	0.02	0.02
query40	0.15	0.13	0.13
query41	0.08	0.02	0.03
query42	0.04	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.18 s
Total hot run time: 33.15 s

[zhangstar333]

run buildall

[doris-robot]

TPC-H: Total hot run time: 41102 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

------ Round 1 ----------------------------------
q1	17567	7355	7288	7288
q2	2017	269	269	269
q3	12157	1064	1133	1064
q4	10561	854	792	792
q5	7757	3110	3052	3052
q6	236	152	152	152
q7	1048	633	597	597
q8	9363	1893	1964	1893
q9	6648	6452	6404	6404
q10	7056	2368	2426	2368
q11	441	247	250	247
q12	410	212	218	212
q13	17773	2997	2989	2989
q14	256	214	209	209
q15	578	534	520	520
q16	637	575	577	575
q17	970	541	582	541
q18	7168	6738	6845	6738
q19	1359	948	938	938
q20	466	183	182	182
q21	3936	3055	3174	3055
q22	1126	1021	1017	1017
Total cold run time: 109530 ms
Total hot run time: 41102 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7277	7307	7274	7274
q2	323	232	237	232
q3	3007	2926	2910	2910
q4	2108	1888	1783	1783
q5	5755	5750	5781	5750
q6	239	147	146	146
q7	2236	1866	1827	1827
q8	3382	3533	3437	3437
q9	8917	8959	8875	8875
q10	3582	3554	3557	3554
q11	584	496	496	496
q12	817	635	649	635
q13	9343	3152	3169	3152
q14	304	270	277	270
q15	585	529	524	524
q16	686	655	654	654
q17	1862	1664	1603	1603
q18	8178	7910	7620	7620
q19	1725	1604	1353	1353
q20	2130	1910	1862	1862
q21	5452	5393	5277	5277
q22	1133	1032	1066	1032
Total cold run time: 69625 ms
Total hot run time: 60266 ms

[doris-robot]

TPC-DS: Total hot run time: 192661 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

query1	953	389	402	389
query2	6230	2093	2062	2062
query3	8691	194	200	194
query4	33987	23608	23812	23608
query5	3521	481	466	466
query6	263	164	162	162
query7	4189	293	292	292
query8	286	232	227	227
query9	9424	2725	2695	2695
query10	463	286	274	274
query11	17838	15202	15440	15202
query12	154	103	102	102
query13	1559	439	412	412
query14	9895	7612	7592	7592
query15	243	169	179	169
query16	7692	465	492	465
query17	1655	604	575	575
query18	1558	320	311	311
query19	379	162	162	162
query20	123	112	117	112
query21	215	108	107	107
query22	4845	4531	4572	4531
query23	34803	34264	34162	34162
query24	10991	2800	2808	2800
query25	613	410	406	406
query26	1158	160	165	160
query27	2214	284	292	284
query28	7482	2427	2410	2410
query29	745	429	419	419
query30	255	151	160	151
query31	1053	788	817	788
query32	98	54	58	54
query33	776	292	327	292
query34	940	526	528	526
query35	913	752	737	737
query36	1098	962	956	956
query37	148	91	91	91
query38	4156	3952	3884	3884
query39	1502	1444	1559	1444
query40	214	100	100	100
query41	47	44	51	44
query42	119	102	105	102
query43	538	494	492	492
query44	1318	810	809	809
query45	201	164	173	164
query46	1146	729	730	729
query47	1912	1790	1834	1790
query48	427	316	326	316
query49	927	437	428	428
query50	815	384	409	384
query51	7096	7012	6939	6939
query52	98	89	96	89
query53	255	182	180	180
query54	1177	424	455	424
query55	83	82	81	81
query56	289	284	249	249
query57	1275	1117	1098	1098
query58	242	226	233	226
query59	3355	2982	3002	2982
query60	287	253	279	253
query61	106	107	106	106
query62	856	673	681	673
query63	234	190	194	190
query64	3950	638	611	611
query65	3327	3183	3205	3183
query66	835	302	303	302
query67	15925	15569	15690	15569
query68	4359	556	562	556
query69	498	286	284	284
query70	1205	1136	1107	1107
query71	357	275	318	275
query72	7241	3944	3942	3942
query73	772	357	360	357
query74	10396	9089	9015	9015
query75	3398	2694	2703	2694
query76	2811	901	1002	901
query77	641	316	326	316
query78	10635	9727	9657	9657
query79	1678	603	622	603
query80	2451	449	449	449
query81	594	242	241	241
query82	740	144	136	136
query83	316	134	132	132
query84	284	67	70	67
query85	1726	311	283	283
query86	447	303	296	296
query87	4453	4380	4309	4309
query88	3257	2225	2221	2221
query89	412	288	291	288
query90	2163	189	191	189
query91	139	103	103	103
query92	67	47	49	47
query93	1061	535	534	534
query94	1225	294	298	294
query95	353	249	250	249
query96	617	286	294	286
query97	3268	3161	3161	3161
query98	220	203	196	196
query99	1806	1307	1287	1287
Total cold run time: 299752 ms
Total hot run time: 192661 ms

[doris-robot]

ClickBench: Total hot run time: 32.62 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b3931bf0446e79976ec4ed7ca5b2ff7bf71847e5, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.03
query3	0.23	0.07	0.06
query4	1.64	0.10	0.10
query5	0.51	0.51	0.52
query6	1.13	0.74	0.74
query7	0.02	0.02	0.02
query8	0.03	0.03	0.03
query9	0.55	0.51	0.50
query10	0.54	0.54	0.55
query11	0.13	0.10	0.10
query12	0.14	0.11	0.11
query13	0.61	0.60	0.60
query14	2.70	2.72	2.82
query15	0.91	0.83	0.84
query16	0.38	0.39	0.38
query17	1.05	1.00	1.00
query18	0.20	0.19	0.20
query19	1.97	1.74	1.99
query20	0.01	0.01	0.01
query21	15.35	0.59	0.59
query22	2.47	2.50	1.89
query23	16.90	0.83	0.73
query24	3.81	1.03	1.52
query25	0.34	0.11	0.11
query26	0.46	0.14	0.13
query27	0.05	0.04	0.04
query28	9.88	1.11	1.07
query29	12.60	3.29	3.22
query30	0.25	0.06	0.05
query31	2.88	0.38	0.38
query32	3.26	0.46	0.45
query33	3.00	3.01	3.06
query34	17.05	4.41	4.46
query35	4.48	4.51	4.56
query36	0.68	0.47	0.51
query37	0.08	0.05	0.05
query38	0.04	0.03	0.04
query39	0.03	0.02	0.02
query40	0.16	0.12	0.12
query41	0.08	0.03	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.76 s
Total hot run time: 32.62 s