[Feature]support bad_words

[Sunny-bot1]

功能描述

支持 bad_words，用于禁止模型生成某些特定词。通过将bad_words中的词语的采样概率设置为1e-10来避免生成该词。

使用方法

online inference

请求中加入bad_words参数

• 使用 curl 命令发送用户请求示例如下：

curl -X POST "http://0.0.0.0:9222/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {"role": "user", "content": "How old are you"}
  ],
  "bad_words": ["age", "I"]
}'

• 使用 python 脚本发送用户请求示例如下：

import openai
host = "0.0.0.0"
port = "8170"
client = openai.Client(base_url=f"http://{host}:{port}/v1", api_key="null")

response = client.chat.completions.create(
    model="null",
    messages=[
        {"role": "system", "content": "I'm a helpful AI assistant."},
    ],
    extra_body={"bad_words": ["you", "me"]},
    stream=True,
)
for chunk in response:
    if chunk.choices[0].delta:
        print(chunk.choices[0].delta.content, end='')
print('\n')

offline inference

sampling_params = SamplingParams(bad_words=["you", "me"])
llm = LLM(model= MODEL_DIR)
outputs = llm.generate(PROMPTS, sampling_params)

[paddle-bot]

Thanks for your contribution!

[yuanlehome]

这里的写法可以优化一下，可能会执行两次max算子，可以在初始化时把bad_tokens_len初始值填充为1

[yuanlehome]

这里需要去重吗？

[Sunny-bot1]

需要吧，如果给的bad_words有重复的话