[fix](restore) restore failed between force_replication_allocation clusters

[cambyzju]

Reproduce steps:

1. If we set force_olap_table_replication_allocation = tag.location.zone2:1 in cluster A, and we backup tables as SNAPSHOT_A
2. in cluster B, we do not set force_olap_table_replication_allocation, and we try to restore SNAPSHOT_A with property: reserve_replica = true, then we got error, cannot find Backend with tag zone2.

Further comments

If this is a relatively large or complex change, kick off the discussion at dev@doris.apache.org by explaining why you chose the solution you did and what alternatives you considered, etc...

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[cambyzju]

run buildall

[cambyzju]

run buildall

[xy720]

LGTM

[lide-reed]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[doris-robot]

TPC-H: Total hot run time: 41902 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d365dbab66b83e88996a942fb738e4ffd7370cc0, data reload: false

------ Round 1 ----------------------------------
q1	17596	4235	4207	4207
q2	2016	195	198	195
q3	10468	1199	1204	1199
q4	10201	821	768	768
q5	7492	2723	2632	2632
q6	224	130	136	130
q7	1048	614	621	614
q8	9226	2149	2097	2097
q9	9569	6741	6708	6708
q10	9974	3914	3902	3902
q11	439	255	248	248
q12	431	219	219	219
q13	18080	3183	3206	3183
q14	257	207	226	207
q15	503	465	472	465
q16	498	399	409	399
q17	957	704	726	704
q18	8260	7872	7667	7667
q19	1647	1582	1533	1533
q20	637	349	321	321
q21	5230	4249	4219	4219
q22	359	297	285	285
Total cold run time: 115112 ms
Total hot run time: 41902 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4496	4358	4370	4358
q2	364	280	271	271
q3	3145	3003	2747	2747
q4	1829	1607	1650	1607
q5	5460	5484	5462	5462
q6	211	121	124	121
q7	2385	1983	1968	1968
q8	3222	3390	3447	3390
q9	8574	8607	8586	8586
q10	3920	3798	3749	3749
q11	608	495	497	495
q12	789	617	615	615
q13	16086	3158	3193	3158
q14	302	275	266	266
q15	512	480	489	480
q16	474	408	406	406
q17	1764	1469	1447	1447
q18	7693	7578	7358	7358
q19	1680	1583	1573	1573
q20	1965	1759	1759	1759
q21	9481	4813	4728	4728
q22	583	471	485	471
Total cold run time: 75543 ms
Total hot run time: 55015 ms

[doris-robot]

TPC-DS: Total hot run time: 187553 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d365dbab66b83e88996a942fb738e4ffd7370cc0, data reload: false

query1	908	364	361	361
query2	6429	2410	2274	2274
query3	6638	206	214	206
query4	23077	21296	21168	21168
query5	4143	411	418	411
query6	258	176	169	169
query7	4609	296	295	295
query8	252	207	202	202
query9	8648	2404	2388	2388
query10	435	245	251	245
query11	14819	14132	14225	14132
query12	133	88	89	88
query13	1651	404	378	378
query14	10818	8436	7822	7822
query15	286	174	182	174
query16	8071	270	269	269
query17	1717	570	553	553
query18	2103	284	278	278
query19	313	160	157	157
query20	95	90	92	90
query21	189	130	127	127
query22	5058	4853	4833	4833
query23	34211	33691	33625	33625
query24	6556	2849	2880	2849
query25	582	378	387	378
query26	696	158	157	157
query27	1884	332	325	325
query28	3675	2055	2031	2031
query29	863	629	618	618
query30	228	162	155	155
query31	1000	779	751	751
query32	93	53	57	53
query33	484	263	260	260
query34	870	493	496	493
query35	749	678	678	678
query36	1061	886	927	886
query37	103	69	67	67
query38	2884	2761	2757	2757
query39	1616	1556	1568	1556
query40	202	138	126	126
query41	47	42	39	39
query42	105	102	100	100
query43	567	550	516	516
query44	1111	724	745	724
query45	278	262	271	262
query46	1066	768	721	721
query47	1975	1870	1960	1870
query48	368	304	299	299
query49	834	388	398	388
query50	771	401	409	401
query51	7012	6778	6708	6708
query52	97	88	90	88
query53	348	283	287	283
query54	537	432	449	432
query55	73	70	73	70
query56	240	220	229	220
query57	1274	1137	1136	1136
query58	211	204	196	196
query59	3427	3237	3236	3236
query60	267	235	244	235
query61	112	88	103	88
query62	611	462	480	462
query63	306	278	279	278
query64	8392	7374	7362	7362
query65	3128	3078	3099	3078
query66	789	345	327	327
query67	15830	14974	15102	14974
query68	10111	560	553	553
query69	612	299	310	299
query70	1315	1113	1108	1108
query71	486	280	275	275
query72	8852	2604	2362	2362
query73	1588	324	323	323
query74	6494	6082	6050	6050
query75	5453	2618	2585	2585
query76	5176	946	997	946
query77	715	269	270	269
query78	10825	10400	10251	10251
query79	5939	525	531	525
query80	849	456	440	440
query81	492	224	224	224
query82	173	92	94	92
query83	211	174	172	172
query84	268	85	93	85
query85	914	290	274	274
query86	342	287	311	287
query87	3233	3084	3121	3084
query88	4068	2426	2416	2416
query89	511	401	385	385
query90	2118	193	197	193
query91	129	100	96	96
query92	65	48	47	47
query93	3870	535	515	515
query94	1303	189	189	189
query95	412	309	312	309
query96	609	272	269	269
query97	3166	2955	2992	2955
query98	239	224	205	205
query99	1097	892	897	892
Total cold run time: 289818 ms
Total hot run time: 187553 ms

[cambyzju]

run external_regression

[cambyzju]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40395 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e0d339754ef2706fe56fc8fc310a058e5633eb3f, data reload: false

------ Round 1 ----------------------------------
q1	17871	4434	4303	4303
q2	2572	207	203	203
q3	10811	1260	1203	1203
q4	10263	826	750	750
q5	7499	2686	2692	2686
q6	218	131	134	131
q7	950	530	529	529
q8	9429	2078	2052	2052
q9	8930	6607	6521	6521
q10	8902	3717	3683	3683
q11	439	239	235	235
q12	459	218	204	204
q13	17760	2943	2952	2943
q14	259	216	220	216
q15	522	493	457	457
q16	517	384	370	370
q17	953	672	741	672
q18	7933	7521	7294	7294
q19	6645	1541	1520	1520
q20	653	305	302	302
q21	4979	3837	3906	3837
q22	355	284	295	284
Total cold run time: 118919 ms
Total hot run time: 40395 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4354	4237	4235	4235
q2	364	256	268	256
q3	2996	2721	2735	2721
q4	1865	1556	1558	1556
q5	5284	5291	5288	5288
q6	213	123	124	123
q7	1753	1398	1371	1371
q8	3207	3358	3322	3322
q9	8362	8370	8339	8339
q10	3844	3675	3645	3645
q11	553	476	480	476
q12	766	592	580	580
q13	17252	2950	2946	2946
q14	274	276	251	251
q15	522	473	467	467
q16	467	403	406	403
q17	1772	1488	1496	1488
q18	7642	7631	7330	7330
q19	1643	1503	1585	1503
q20	1964	1782	1724	1724
q21	4865	4713	4969	4713
q22	573	503	505	503
Total cold run time: 70535 ms
Total hot run time: 53240 ms

[doris-robot]

TPC-DS: Total hot run time: 187245 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e0d339754ef2706fe56fc8fc310a058e5633eb3f, data reload: false

query1	911	366	344	344
query2	6478	2461	2298	2298
query3	6646	211	217	211
query4	23976	21230	21116	21116
query5	4151	414	420	414
query6	268	170	169	169
query7	4587	287	281	281
query8	240	184	187	184
query9	8551	2425	2392	2392
query10	431	244	237	237
query11	14700	14256	14153	14153
query12	137	88	91	88
query13	1670	369	367	367
query14	10002	8470	8408	8408
query15	250	175	179	175
query16	8147	260	262	260
query17	1849	538	540	538
query18	2097	288	274	274
query19	254	145	146	145
query20	91	85	87	85
query21	197	131	129	129
query22	5063	4857	4835	4835
query23	34053	33529	33484	33484
query24	12037	2910	2924	2910
query25	645	373	357	357
query26	1766	154	149	149
query27	2992	319	336	319
query28	7718	2041	2026	2026
query29	1001	619	616	616
query30	283	152	157	152
query31	985	771	721	721
query32	92	53	55	53
query33	748	246	245	245
query34	1083	482	491	482
query35	812	668	686	668
query36	1072	867	890	867
query37	279	69	66	66
query38	2916	2796	2746	2746
query39	1650	1568	1710	1568
query40	271	126	124	124
query41	43	39	39	39
query42	103	120	96	96
query43	573	528	530	528
query44	1238	712	724	712
query45	269	250	261	250
query46	1084	734	708	708
query47	1918	1867	1870	1867
query48	369	304	284	284
query49	1196	391	393	391
query50	770	396	383	383
query51	6936	6779	6765	6765
query52	98	88	89	88
query53	348	284	271	271
query54	1039	439	432	432
query55	72	70	72	70
query56	232	218	216	216
query57	1244	1143	1115	1115
query58	223	189	195	189
query59	3443	3210	3359	3210
query60	260	287	240	240
query61	95	86	85	85
query62	662	472	465	465
query63	309	285	283	283
query64	9756	7371	7355	7355
query65	3121	3110	3102	3102
query66	1385	362	337	337
query67	15150	14900	14978	14900
query68	4499	531	533	531
query69	476	301	298	298
query70	1177	1079	1048	1048
query71	401	264	270	264
query72	7198	2582	2328	2328
query73	700	327	328	327
query74	6432	6070	5984	5984
query75	3335	2635	2605	2605
query76	2608	1034	971	971
query77	407	260	263	260
query78	10566	10130	10102	10102
query79	2406	499	505	499
query80	927	484	438	438
query81	529	216	217	216
query82	1183	91	93	91
query83	262	162	163	162
query84	236	81	82	81
query85	1552	270	258	258
query86	491	300	330	300
query87	3277	3126	3068	3068
query88	4219	2411	2401	2401
query89	465	380	374	374
query90	1992	184	185	184
query91	121	97	95	95
query92	59	49	49	49
query93	2046	500	492	492
query94	1218	176	186	176
query95	386	299	311	299
query96	578	268	262	262
query97	3142	2959	2986	2959
query98	231	220	213	213
query99	1140	883	873	873
Total cold run time: 287294 ms
Total hot run time: 187245 ms

[cambyzju]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40656 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ea194763fdf498554fc687f76b9ea8cc1f059123, data reload: false

------ Round 1 ----------------------------------
q1	18029	4366	4349	4349
q2	2520	202	194	194
q3	10965	1284	1226	1226
q4	10217	720	745	720
q5	7640	2688	2694	2688
q6	214	133	134	133
q7	1015	585	584	584
q8	9337	2086	2054	2054
q9	9355	6526	6492	6492
q10	8976	3704	3674	3674
q11	458	233	236	233
q12	553	212	208	208
q13	17763	2944	2956	2944
q14	256	218	222	218
q15	515	468	462	462
q16	521	387	380	380
q17	958	717	753	717
q18	7872	7403	7439	7403
q19	6712	1532	1525	1525
q20	648	306	332	306
q21	5055	3865	4017	3865
q22	353	284	281	281
Total cold run time: 119932 ms
Total hot run time: 40656 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4360	4171	4158	4158
q2	379	273	269	269
q3	2991	2797	2732	2732
q4	1854	1693	1556	1556
q5	5254	5279	5247	5247
q6	215	122	123	122
q7	2194	1888	1861	1861
q8	3201	3334	3320	3320
q9	8365	8350	8341	8341
q10	3868	3724	3662	3662
q11	576	465	484	465
q12	757	591	589	589
q13	17510	2921	2937	2921
q14	280	261	266	261
q15	522	466	467	466
q16	480	406	416	406
q17	1769	1482	1483	1482
q18	7615	7481	7576	7481
q19	1630	1557	1515	1515
q20	1960	1778	1771	1771
q21	4900	4728	4875	4728
q22	586	482	476	476
Total cold run time: 71266 ms
Total hot run time: 53829 ms

[doris-robot]

TPC-DS: Total hot run time: 186538 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ea194763fdf498554fc687f76b9ea8cc1f059123, data reload: false

query1	905	362	346	346
query2	6463	2437	2453	2437
query3	6657	205	213	205
query4	24299	21173	21233	21173
query5	4192	421	428	421
query6	273	187	184	184
query7	4588	300	288	288
query8	233	188	191	188
query9	8694	2440	2431	2431
query10	442	254	265	254
query11	14726	14210	14245	14210
query12	134	93	89	89
query13	1671	373	362	362
query14	9810	6917	7868	6917
query15	207	172	181	172
query16	7797	260	261	260
query17	1872	571	543	543
query18	1957	273	264	264
query19	196	151	152	151
query20	95	84	84	84
query21	197	127	128	127
query22	5014	4837	4899	4837
query23	34366	33570	33505	33505
query24	12085	3009	2872	2872
query25	666	373	371	371
query26	1883	160	160	160
query27	3001	324	334	324
query28	7510	2084	2061	2061
query29	1168	644	607	607
query30	304	157	154	154
query31	994	767	739	739
query32	92	53	55	53
query33	750	277	257	257
query34	1013	490	491	490
query35	812	695	672	672
query36	1074	938	937	937
query37	282	95	69	69
query38	2913	2788	2751	2751
query39	1601	1572	1561	1561
query40	273	132	127	127
query41	42	38	38	38
query42	107	95	96	95
query43	588	560	556	556
query44	1209	723	745	723
query45	260	248	249	248
query46	1069	722	737	722
query47	1943	1883	1888	1883
query48	367	307	307	307
query49	1188	389	406	389
query50	770	404	397	397
query51	6772	6674	6649	6649
query52	106	90	94	90
query53	352	281	286	281
query54	949	440	459	440
query55	74	74	73	73
query56	243	224	225	224
query57	1238	1158	1169	1158
query58	215	205	208	205
query59	3453	3053	3031	3031
query60	270	243	267	243
query61	96	89	87	87
query62	673	476	475	475
query63	310	296	291	291
query64	9785	7388	7393	7388
query65	3111	3091	3120	3091
query66	1377	352	334	334
query67	15480	15161	14883	14883
query68	4570	531	543	531
query69	475	305	308	305
query70	1166	1149	1170	1149
query71	407	278	278	278
query72	7259	2528	2379	2379
query73	704	333	330	330
query74	6655	6155	5951	5951
query75	3381	2632	2589	2589
query76	2801	1000	949	949
query77	452	273	264	264
query78	10631	10135	10091	10091
query79	2074	510	524	510
query80	878	458	446	446
query81	508	223	230	223
query82	643	98	93	93
query83	241	163	177	163
query84	241	88	86	86
query85	1852	289	321	289
query86	478	333	309	309
query87	3376	3115	3087	3087
query88	4228	2470	2475	2470
query89	477	387	407	387
query90	1995	193	262	193
query91	130	98	100	98
query92	59	51	49	49
query93	2200	521	499	499
query94	1260	184	187	184
query95	404	309	309	309
query96	598	268	274	268
query97	3192	3057	2989	2989
query98	237	220	228	220
query99	1103	927	896	896
Total cold run time: 287931 ms
Total hot run time: 186538 ms

[cambyzju]

run feut

[lide-reed]

LGTM