[fix](schema change) reduce memory usage in schema change process

[Lchangliang]

pick
#36285
#30231
#33073

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[Lchangliang]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49921 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0e2c8b4e2eba36c7d25995c17c2bd5740c8e239d, data reload: false

------ Round 1 ----------------------------------
q1	17707	4414	4363	4363
q2	2049	156	148	148
q3	10262	1871	1924	1871
q4	10407	1247	1320	1247
q5	8518	3936	3962	3936
q6	236	127	125	125
q7	2054	1618	1636	1618
q8	9308	2711	2704	2704
q9	10998	10342	10407	10342
q10	8623	3495	3516	3495
q11	422	250	248	248
q12	470	298	310	298
q13	18345	3957	4000	3957
q14	359	332	325	325
q15	499	460	462	460
q16	664	566	576	566
q17	1128	935	966	935
q18	7316	6987	6858	6858
q19	1764	1642	1608	1608
q20	548	308	327	308
q21	4434	4077	4122	4077
q22	525	432	449	432
Total cold run time: 116636 ms
Total hot run time: 49921 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4374	4319	4310	4310
q2	324	233	225	225
q3	4198	4163	4151	4151
q4	2752	2748	2752	2748
q5	7177	7081	7155	7081
q6	238	121	122	121
q7	3202	2829	2791	2791
q8	4317	4458	4496	4458
q9	17441	17275	17190	17190
q10	4267	4246	4274	4246
q11	777	663	673	663
q12	1043	853	881	853
q13	6862	3807	3800	3800
q14	458	435	428	428
q15	516	462	455	455
q16	728	699	676	676
q17	3875	3776	3831	3776
q18	8810	8786	9050	8786
q19	1753	1763	1684	1684
q20	2451	2236	2224	2224
q21	8816	8900	8658	8658
q22	1054	1030	1014	1014
Total cold run time: 85433 ms
Total hot run time: 80338 ms

[doris-robot]

TPC-DS: Total hot run time: 203689 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0e2c8b4e2eba36c7d25995c17c2bd5740c8e239d, data reload: false

query1	946	428	386	386
query2	6732	2782	2839	2782
query3	6927	206	198	198
query4	20068	18003	18034	18003
query5	19743	6555	6593	6555
query6	416	220	229	220
query7	5123	298	308	298
query8	399	392	400	392
query9	3065	2652	2607	2607
query10	430	297	290	290
query11	11325	10789	10766	10766
query12	126	76	72	72
query13	5601	695	673	673
query14	19364	13434	13506	13434
query15	364	253	233	233
query16	6434	291	267	267
query17	1487	1410	901	901
query18	2239	441	423	423
query19	215	156	150	150
query20	82	83	80	80
query21	194	100	101	100
query22	5080	4936	4978	4936
query23	32508	31863	31913	31863
query24	6853	6599	6584	6584
query25	543	423	438	423
query26	501	167	167	167
query27	1703	297	300	297
query28	6141	2322	2300	2300
query29	2844	2779	2651	2651
query30	241	169	166	166
query31	929	729	746	729
query32	71	62	62	62
query33	403	245	272	245
query34	857	476	493	476
query35	1167	1017	943	943
query36	1186	1116	1160	1116
query37	90	62	62	62
query38	3120	2926	2992	2926
query39	1392	1316	1353	1316
query40	213	101	98	98
query41	48	43	45	43
query42	83	82	84	82
query43	753	634	743	634
query44	1228	714	731	714
query45	255	241	242	241
query46	1225	947	983	947
query47	1686	1671	1706	1671
query48	1025	735	724	724
query49	630	376	364	364
query50	876	619	613	613
query51	4764	4719	4700	4700
query52	104	81	90	81
query53	452	330	319	319
query54	2733	2487	2479	2479
query55	90	93	85	85
query56	240	227	221	221
query57	1193	1131	1059	1059
query58	227	203	199	199
query59	4404	3799	3750	3750
query60	223	205	217	205
query61	101	96	97	96
query62	847	469	470	469
query63	484	352	347	347
query64	4200	1664	1533	1533
query65	3666	3565	3579	3565
query66	657	383	393	383
query67	15150	14953	15243	14953
query68	10368	647	642	642
query69	589	347	347	347
query70	1831	1389	1454	1389
query71	431	316	318	316
query72	6654	3566	3539	3539
query73	746	322	320	320
query74	6268	5856	5762	5762
query75	5502	3727	3760	3727
query76	6439	1138	1217	1138
query77	1150	255	262	255
query78	12754	11730	11863	11730
query79	7328	646	636	636
query80	1111	406	405	405
query81	489	237	233	233
query82	1657	106	98	98
query83	177	133	133	133
query84	250	71	73	71
query85	895	331	333	331
query86	345	294	287	287
query87	3193	3024	3095	3024
query88	4515	2291	2292	2291
query89	380	278	325	278
query90	2086	213	214	213
query91	171	137	135	135
query92	61	56	53	53
query93	6210	585	564	564
query94	748	211	213	211
query95	1145	1096	1080	1080
query96	652	339	324	324
query97	6546	6377	6489	6377
query98	192	181	178	178
query99	2938	1065	935	935
Total cold run time: 318287 ms
Total hot run time: 203689 ms

[doris-robot]

ClickBench: Total hot run time: 30.56 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0e2c8b4e2eba36c7d25995c17c2bd5740c8e239d, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.02
query3	0.24	0.04	0.05
query4	1.79	0.11	0.10
query5	0.53	0.53	0.52
query6	1.23	0.62	0.62
query7	0.02	0.01	0.00
query8	0.04	0.03	0.02
query9	0.53	0.50	0.48
query10	0.54	0.55	0.53
query11	0.12	0.08	0.08
query12	0.12	0.10	0.09
query13	0.62	0.62	0.61
query14	0.77	0.79	0.78
query15	0.79	0.77	0.78
query16	0.37	0.37	0.37
query17	0.98	0.99	1.00
query18	0.22	0.24	0.25
query19	1.95	1.86	1.85
query20	0.02	0.01	0.01
query21	15.48	0.54	0.55
query22	2.10	2.56	1.49
query23	17.11	1.09	0.89
query24	7.46	1.00	1.25
query25	0.39	0.06	0.06
query26	0.84	0.15	0.15
query27	0.05	0.04	0.03
query28	5.46	0.79	0.72
query29	12.63	2.18	2.26
query30	0.50	0.51	0.51
query31	2.82	0.39	0.38
query32	3.36	0.50	0.49
query33	3.11	3.09	3.07
query34	15.26	4.82	4.81
query35	4.88	4.87	4.84
query36	1.06	1.01	1.01
query37	0.06	0.04	0.04
query38	0.03	0.02	0.02
query39	0.02	0.01	0.01
query40	0.17	0.14	0.14
query41	0.05	0.01	0.02
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.85 s
Total hot run time: 30.56 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 0e2c8b4e2eba36c7d25995c17c2bd5740c8e239d with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.8 seconds inserted 10000000 Rows, about 458K ops/s