[bugfix](paimon)add support for 'in' and 'not in'

[wuwenchi]

Proposed changes

add support for in and not in:

select * from tb where partition_column in ('a','b','c');
select * from tb where partition_column not in ('a','b','c');

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[wuwenchi]

run buildall

[wuwenchi]

run buildall

[wuwenchi]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39426 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6b0f3f5092c5c8ea76111dcbe610e4b721de7a99, data reload: false

------ Round 1 ----------------------------------
q1	17850	4566	4313	4313
q2	2022	203	202	202
q3	10477	1158	1127	1127
q4	10159	786	630	630
q5	7517	2825	2727	2727
q6	221	142	139	139
q7	970	598	595	595
q8	9222	1934	1944	1934
q9	8765	6581	6582	6581
q10	8778	3802	3765	3765
q11	460	245	242	242
q12	400	222	220	220
q13	18747	2971	2981	2971
q14	290	248	237	237
q15	525	484	475	475
q16	491	393	374	374
q17	978	676	663	663
q18	8293	7539	7313	7313
q19	3714	988	990	988
q20	656	330	330	330
q21	5674	3305	3909	3305
q22	355	302	295	295
Total cold run time: 116564 ms
Total hot run time: 39426 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4450	4253	4225	4225
q2	388	274	286	274
q3	3008	2753	2891	2753
q4	2042	1726	1685	1685
q5	5718	5542	5519	5519
q6	225	133	133	133
q7	2179	1858	1865	1858
q8	3303	3407	3393	3393
q9	8856	8773	9063	8773
q10	4055	3843	3750	3750
q11	596	512	525	512
q12	857	629	622	622
q13	17216	3196	3195	3195
q14	321	290	306	290
q15	527	482	491	482
q16	499	450	463	450
q17	1839	1539	1535	1535
q18	8151	8116	8005	8005
q19	1825	1636	1636	1636
q20	2156	1874	1876	1874
q21	5182	4945	4642	4642
q22	602	537	527	527
Total cold run time: 73995 ms
Total hot run time: 56133 ms

[doris-robot]

TPC-DS: Total hot run time: 172899 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6b0f3f5092c5c8ea76111dcbe610e4b721de7a99, data reload: false

query1	918	376	372	372
query2	6425	1884	1859	1859
query3	6629	208	226	208
query4	28236	17666	17470	17470
query5	3654	488	517	488
query6	272	177	167	167
query7	4583	290	286	286
query8	251	203	191	191
query9	8585	2457	2457	2457
query10	432	280	274	274
query11	11123	9940	9988	9940
query12	125	89	88	88
query13	1621	371	377	371
query14	10249	6955	7983	6955
query15	241	170	168	168
query16	7282	484	460	460
query17	1596	572	586	572
query18	1715	272	273	272
query19	180	140	141	140
query20	92	83	80	80
query21	201	100	99	99
query22	4293	4064	3969	3969
query23	34131	33585	33534	33534
query24	11005	2892	2887	2887
query25	626	383	387	383
query26	715	155	154	154
query27	2208	289	280	280
query28	6391	2083	2087	2083
query29	760	422	435	422
query30	256	155	152	152
query31	986	790	746	746
query32	101	55	55	55
query33	765	341	323	323
query34	939	496	509	496
query35	908	739	770	739
query36	1119	934	956	934
query37	146	83	84	83
query38	2970	2834	2827	2827
query39	914	838	869	838
query40	193	120	120	120
query41	49	46	60	46
query42	108	100	98	98
query43	529	483	477	477
query44	1204	723	711	711
query45	214	175	173	173
query46	1101	740	700	700
query47	1818	1768	1736	1736
query48	354	288	286	286
query49	822	446	418	418
query50	792	403	401	401
query51	6738	6665	6656	6656
query52	97	94	86	86
query53	249	178	182	178
query54	884	443	438	438
query55	73	74	73	73
query56	287	270	267	267
query57	1113	1047	1041	1041
query58	250	278	284	278
query59	2960	2637	2772	2637
query60	310	281	290	281
query61	98	95	97	95
query62	792	637	625	625
query63	203	173	179	173
query64	9267	2211	1689	1689
query65	3158	3118	3097	3097
query66	755	329	330	329
query67	15202	15053	14862	14862
query68	6091	540	535	535
query69	709	413	316	316
query70	1196	1064	1103	1064
query71	473	273	266	266
query72	7690	5773	5584	5584
query73	776	327	326	326
query74	6228	5650	5675	5650
query75	3915	2685	2671	2671
query76	3540	896	987	896
query77	681	306	357	306
query78	11915	10762	9266	9266
query79	5514	513	509	509
query80	849	479	493	479
query81	559	222	219	219
query82	379	136	133	133
query83	244	184	182	182
query84	273	75	85	75
query85	747	303	307	303
query86	466	318	292	292
query87	3249	3087	3075	3075
query88	4658	2481	2482	2481
query89	401	287	283	283
query90	1860	201	201	201
query91	129	101	103	101
query92	60	51	49	49
query93	2304	524	518	518
query94	777	358	287	287
query95	356	267	272	267
query96	592	275	271	271
query97	3175	3034	3035	3034
query98	227	193	198	193
query99	1582	1287	1274	1274
Total cold run time: 284878 ms
Total hot run time: 172899 ms

[doris-robot]

ClickBench: Total hot run time: 30.25 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6b0f3f5092c5c8ea76111dcbe610e4b721de7a99, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.04	0.05
query4	1.66	0.08	0.08
query5	0.48	0.50	0.51
query6	1.14	0.73	0.72
query7	0.02	0.02	0.01
query8	0.06	0.05	0.05
query9	0.55	0.51	0.50
query10	0.56	0.55	0.54
query11	0.15	0.11	0.11
query12	0.15	0.13	0.12
query13	0.60	0.59	0.58
query14	0.76	0.79	0.77
query15	0.85	0.81	0.82
query16	0.37	0.35	0.37
query17	1.04	0.99	0.96
query18	0.22	0.21	0.20
query19	1.82	1.72	1.78
query20	0.01	0.01	0.01
query21	15.42	0.80	0.65
query22	4.23	8.50	1.33
query23	18.27	1.41	1.38
query24	2.23	0.23	0.22
query25	0.15	0.09	0.08
query26	0.29	0.22	0.21
query27	0.46	0.23	0.23
query28	13.22	1.02	1.00
query29	12.62	3.39	3.37
query30	0.25	0.06	0.06
query31	2.85	0.39	0.39
query32	3.25	0.48	0.47
query33	2.86	2.96	2.91
query34	16.83	4.34	4.42
query35	4.43	4.48	4.43
query36	0.64	0.46	0.49
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.04	0.03	0.04
query40	0.15	0.12	0.13
query41	0.09	0.04	0.04
query42	0.06	0.05	0.05
query43	0.04	0.03	0.04
Total cold run time: 109.52 s
Total hot run time: 30.25 s

[wuwenchi]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39276 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 57d9351017e17282b0f836a681c3ba2faa4d149a, data reload: false

------ Round 1 ----------------------------------
q1	17619	4401	4289	4289
q2	2006	200	199	199
q3	10431	1241	1121	1121
q4	10142	733	805	733
q5	7536	2685	2657	2657
q6	219	136	139	136
q7	941	594	583	583
q8	9223	1895	1908	1895
q9	8990	6575	6609	6575
q10	8720	3756	3802	3756
q11	461	245	249	245
q12	495	232	226	226
q13	17757	2948	2964	2948
q14	281	231	230	230
q15	530	491	487	487
q16	499	380	380	380
q17	969	656	655	655
q18	8025	7391	7327	7327
q19	6656	989	1033	989
q20	695	326	335	326
q21	4884	3230	3291	3230
q22	350	289	298	289
Total cold run time: 117429 ms
Total hot run time: 39276 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4541	4272	4246	4246
q2	371	268	262	262
q3	3003	2802	2879	2802
q4	1965	1702	1635	1635
q5	5629	5540	5522	5522
q6	224	132	135	132
q7	2167	1816	1862	1816
q8	3242	3414	3397	3397
q9	8730	8702	8819	8702
q10	4107	3905	3806	3806
q11	564	495	507	495
q12	788	639	656	639
q13	15830	3199	3188	3188
q14	309	292	284	284
q15	525	492	509	492
q16	479	435	434	434
q17	1813	1519	1520	1519
q18	8097	8093	7887	7887
q19	1705	1577	1593	1577
q20	2092	1943	1864	1864
q21	8325	4980	4827	4827
q22	565	506	512	506
Total cold run time: 75071 ms
Total hot run time: 56032 ms

[doris-robot]

TPC-DS: Total hot run time: 172727 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 57d9351017e17282b0f836a681c3ba2faa4d149a, data reload: false

query1	908	377	358	358
query2	6450	1943	1771	1771
query3	6637	207	219	207
query4	23740	17434	17414	17414
query5	3674	479	488	479
query6	263	182	171	171
query7	4579	297	298	297
query8	254	199	194	194
query9	8469	2456	2434	2434
query10	440	281	260	260
query11	10631	10193	10086	10086
query12	121	87	94	87
query13	1637	372	361	361
query14	10173	7811	7595	7595
query15	222	162	167	162
query16	7726	470	467	467
query17	1585	542	524	524
query18	2000	281	284	281
query19	202	143	143	143
query20	89	85	83	83
query21	203	97	95	95
query22	4274	4041	3873	3873
query23	33893	33687	33695	33687
query24	10825	2931	2890	2890
query25	591	387	387	387
query26	706	151	148	148
query27	2237	281	277	277
query28	6199	2067	2067	2067
query29	820	410	434	410
query30	253	154	157	154
query31	973	772	761	761
query32	91	50	54	50
query33	692	342	333	333
query34	926	480	486	480
query35	865	771	762	762
query36	1128	978	926	926
query37	133	76	79	76
query38	2947	2881	2881	2881
query39	917	833	847	833
query40	216	126	121	121
query41	51	44	51	44
query42	105	98	97	97
query43	502	492	486	486
query44	1115	708	708	708
query45	206	179	177	177
query46	1108	723	747	723
query47	1823	1755	1761	1755
query48	348	288	299	288
query49	836	408	442	408
query50	805	402	403	402
query51	6879	6718	6660	6660
query52	100	86	92	86
query53	247	181	176	176
query54	836	439	425	425
query55	74	71	76	71
query56	281	258	272	258
query57	1126	1060	1057	1057
query58	258	271	253	253
query59	3019	2573	2660	2573
query60	326	277	277	277
query61	96	93	94	93
query62	799	645	633	633
query63	207	175	178	175
query64	9201	2284	1699	1699
query65	3178	3100	3121	3100
query66	748	334	336	334
query67	15274	14890	14795	14795
query68	4553	535	526	526
query69	607	387	307	307
query70	1177	1154	1075	1075
query71	427	273	265	265
query72	6888	5517	5175	5175
query73	750	326	324	324
query74	6075	5687	5670	5670
query75	3362	2602	2663	2602
query76	2747	1027	901	901
query77	572	304	294	294
query78	9610	9069	10137	9069
query79	2162	507	511	507
query80	991	504	480	480
query81	601	218	219	218
query82	610	134	134	134
query83	270	167	171	167
query84	239	78	87	78
query85	1613	317	304	304
query86	475	303	315	303
query87	3278	3102	3098	3098
query88	4103	2444	2475	2444
query89	386	284	280	280
query90	1763	194	191	191
query91	128	99	98	98
query92	65	49	48	48
query93	1864	521	508	508
query94	806	296	282	282
query95	352	265	266	265
query96	607	271	286	271
query97	3184	3074	3057	3057
query98	222	196	200	196
query99	1598	1252	1257	1252
Total cold run time: 270322 ms
Total hot run time: 172727 ms

[doris-robot]

ClickBench: Total hot run time: 30.15 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 57d9351017e17282b0f836a681c3ba2faa4d149a, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.69	0.07	0.07
query5	0.50	0.47	0.50
query6	1.13	0.72	0.73
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.51
query10	0.55	0.53	0.54
query11	0.15	0.12	0.12
query12	0.15	0.12	0.12
query13	0.59	0.58	0.58
query14	0.75	0.78	0.78
query15	0.86	0.82	0.82
query16	0.38	0.36	0.37
query17	1.03	0.99	1.00
query18	0.22	0.22	0.22
query19	1.78	1.83	1.68
query20	0.02	0.01	0.01
query21	15.42	0.78	0.65
query22	4.25	7.37	1.59
query23	18.26	1.37	1.24
query24	2.18	0.23	0.22
query25	0.15	0.09	0.10
query26	0.30	0.22	0.21
query27	0.44	0.22	0.23
query28	13.24	1.02	1.00
query29	12.60	3.29	3.26
query30	0.25	0.06	0.05
query31	2.86	0.38	0.39
query32	3.30	0.48	0.47
query33	2.88	2.92	2.87
query34	16.90	4.30	4.41
query35	4.40	4.43	4.44
query36	0.66	0.49	0.47
query37	0.18	0.15	0.16
query38	0.15	0.14	0.15
query39	0.04	0.04	0.04
query40	0.15	0.12	0.13
query41	0.10	0.05	0.05
query42	0.05	0.05	0.04
query43	0.05	0.03	0.04
Total cold run time: 109.58 s
Total hot run time: 30.15 s

[wuwenchi]

run buildall

[doris-robot]

TPC-H: Total hot run time: 39247 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4fbf0977dacdaddd2c635d0aedb5b2d3d0756f5a, data reload: false

------ Round 1 ----------------------------------
q1	17616	4340	4284	4284
q2	2020	214	193	193
q3	10420	1198	1053	1053
q4	10150	731	817	731
q5	7520	2730	2770	2730
q6	220	142	142	142
q7	943	603	596	596
q8	9218	1942	1906	1906
q9	8898	6604	6593	6593
q10	8801	3783	3768	3768
q11	459	252	250	250
q12	450	228	215	215
q13	18587	3014	2964	2964
q14	293	233	241	233
q15	520	503	492	492
q16	517	380	387	380
q17	983	734	628	628
q18	8007	7494	7333	7333
q19	5643	995	1044	995
q20	694	346	344	344
q21	5040	3129	4016	3129
q22	369	293	288	288
Total cold run time: 117368 ms
Total hot run time: 39247 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4468	4279	4251	4251
q2	366	269	268	268
q3	3027	2867	2832	2832
q4	1968	1712	1679	1679
q5	5661	5547	5465	5465
q6	222	138	136	136
q7	2200	1856	1849	1849
q8	3282	3410	3493	3410
q9	8811	8788	8947	8788
q10	4067	3920	3728	3728
q11	596	507	496	496
q12	802	665	635	635
q13	16368	3192	3183	3183
q14	315	290	293	290
q15	523	481	497	481
q16	480	427	436	427
q17	1794	1531	1522	1522
q18	8221	7988	7784	7784
q19	1814	1500	1710	1500
q20	2194	1909	1897	1897
q21	5563	4966	4775	4775
q22	607	529	533	529
Total cold run time: 73349 ms
Total hot run time: 55925 ms

[doris-robot]

TPC-DS: Total hot run time: 172963 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4fbf0977dacdaddd2c635d0aedb5b2d3d0756f5a, data reload: false

query1	908	380	378	378
query2	6454	1964	1827	1827
query3	6631	207	216	207
query4	28477	17555	17412	17412
query5	3643	479	487	479
query6	289	188	167	167
query7	4588	290	302	290
query8	245	211	204	204
query9	8600	2478	2465	2465
query10	431	311	258	258
query11	11686	9961	10129	9961
query12	118	87	86	86
query13	1617	368	362	362
query14	11706	7917	7648	7648
query15	223	168	172	168
query16	7183	473	465	465
query17	1301	551	535	535
query18	1251	284	283	283
query19	197	143	141	141
query20	92	80	85	80
query21	199	98	95	95
query22	4354	4105	3969	3969
query23	34148	33461	33777	33461
query24	10872	2945	2836	2836
query25	607	388	390	388
query26	702	160	156	156
query27	2339	280	288	280
query28	6289	2112	2094	2094
query29	706	444	426	426
query30	259	164	154	154
query31	993	757	752	752
query32	106	55	58	55
query33	668	342	351	342
query34	897	509	504	504
query35	894	763	779	763
query36	1126	939	948	939
query37	150	89	85	85
query38	2936	2805	2836	2805
query39	913	837	804	804
query40	202	122	116	116
query41	57	45	46	45
query42	120	98	101	98
query43	519	470	473	470
query44	1123	749	744	744
query45	210	178	176	176
query46	1095	742	756	742
query47	1852	1758	1752	1752
query48	372	301	306	301
query49	845	442	437	437
query50	812	452	418	418
query51	6697	6698	6661	6661
query52	96	91	94	91
query53	260	186	184	184
query54	852	445	434	434
query55	78	82	75	75
query56	288	273	275	273
query57	1144	1056	1031	1031
query58	266	254	261	254
query59	2878	2647	2673	2647
query60	309	272	278	272
query61	93	95	91	91
query62	776	654	671	654
query63	213	183	179	179
query64	9239	2280	1690	1690
query65	3176	3109	3134	3109
query66	761	350	330	330
query67	15180	14986	15042	14986
query68	4515	560	548	548
query69	570	374	319	319
query70	1147	1081	1093	1081
query71	407	278	265	265
query72	7163	5836	5296	5296
query73	760	330	325	325
query74	6195	5669	5647	5647
query75	3396	2678	2664	2664
query76	2235	954	847	847
query77	625	308	299	299
query78	9751	9766	8899	8899
query79	3163	528	533	528
query80	2065	551	483	483
query81	600	218	216	216
query82	1394	141	128	128
query83	348	185	185	185
query84	273	78	83	78
query85	1335	316	304	304
query86	459	306	316	306
query87	3254	3067	3051	3051
query88	4361	2472	2493	2472
query89	401	296	288	288
query90	1747	200	201	200
query91	129	103	99	99
query92	60	50	48	48
query93	2710	541	531	531
query94	854	316	301	301
query95	360	266	271	266
query96	619	291	281	281
query97	3218	3003	3030	3003
query98	230	193	197	193
query99	1610	1228	1232	1228
Total cold run time: 280265 ms
Total hot run time: 172963 ms

[doris-robot]

ClickBench: Total hot run time: 30.45 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4fbf0977dacdaddd2c635d0aedb5b2d3d0756f5a, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.09	0.08
query5	0.53	0.50	0.47
query6	1.19	0.72	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.56	0.49	0.50
query10	0.54	0.55	0.54
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.60	0.59	0.58
query14	0.77	0.77	0.78
query15	0.85	0.80	0.81
query16	0.36	0.36	0.37
query17	1.01	1.03	0.98
query18	0.22	0.21	0.20
query19	1.79	1.68	1.73
query20	0.01	0.01	0.01
query21	15.40	0.78	0.66
query22	4.10	7.86	1.79
query23	18.25	1.37	1.25
query24	2.10	0.23	0.23
query25	0.15	0.09	0.08
query26	0.29	0.22	0.21
query27	0.46	0.23	0.23
query28	13.24	1.02	0.99
query29	12.63	3.28	3.27
query30	0.26	0.06	0.06
query31	2.86	0.39	0.39
query32	3.27	0.47	0.47
query33	2.85	2.91	2.89
query34	17.17	4.31	4.36
query35	4.39	4.46	4.46
query36	0.65	0.47	0.50
query37	0.19	0.16	0.16
query38	0.17	0.15	0.15
query39	0.04	0.04	0.04
query40	0.16	0.13	0.12
query41	0.09	0.05	0.06
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.64 s
Total hot run time: 30.45 s

[morningman]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[hubgeter]

LGTM