From 11ad0e3e37d85c32d73bd615df5ff40f9c0c6946 Mon Sep 17 00:00:00 2001 From: Alyssa Coghlan Date: Mon, 14 Apr 2025 22:39:16 +1000 Subject: [PATCH] Improve runtime naming of public API types Change the names of public API types at schema generation time instead of aliasing them at import time. This makes the name reported at runtime match the import name in the public SDK API. Closes #73 --- sdk-schema/sync-sdk-schema.py | 81 +- src/lmstudio/_sdk_models/__init__.py | 1789 ++------------------------ src/lmstudio/history.py | 32 +- src/lmstudio/json_api.py | 16 +- 4 files changed, 173 insertions(+), 1745 deletions(-) diff --git a/sdk-schema/sync-sdk-schema.py b/sdk-schema/sync-sdk-schema.py index 6b3ec00..dc2c38e 100755 --- a/sdk-schema/sync-sdk-schema.py +++ b/sdk-schema/sync-sdk-schema.py @@ -334,6 +334,36 @@ def _infer_schema_unions() -> None: _INFERRED_SCHEMA_PATH.write_text(json.dumps(processed_schema, indent=2)) +# Unfortunately, "aliases" in the code generator isn't full type renaming +# Instead, these are handled as part of the AST transformation step +_DATA_MODEL_NAME_OVERRIDES = { + # Prettier chat history type names + "ChatMessageData": "AnyChatMessage", + "ChatMessageDataUser": "UserMessage", + "ChatMessageDataSystem": "SystemPrompt", + "ChatMessageDataAssistant": "AssistantResponse", + "ChatMessageDataTool": "ToolResultMessage", + "ChatMessageDataUserDict": "UserMessageDict", + "ChatMessageDataSystemDict": "SystemPromptDict", + "ChatMessageDataAssistantDict": "AssistantResponseDict", + "ChatMessageDataToolDict": "ToolResultMessageDict", + "ChatMessagePartFileData": "FileHandle", + "ChatMessagePartFileDataDict": "FileHandleDict", + "ChatMessagePartTextData": "TextData", + "ChatMessagePartTextDataDict": "TextDataDict", + "ChatMessagePartToolCallRequestData": "ToolCallRequestData", + "ChatMessagePartToolCallRequestDataDict": "ToolCallRequestDataDict", + "ChatMessagePartToolCallResultData": "ToolCallResultData", + "ChatMessagePartToolCallResultDataDict": "ToolCallResultDataDict", + "FunctionToolCallRequestDict": "ToolCallRequestDict", + # Prettier channel creation type names + "LlmChannelPredictCreationParameter": "PredictionChannelRequest", + "LlmChannelPredictCreationParameterDict": "PredictionChannelRequestDict", + "RepositoryChannelDownloadModelCreationParameter": "DownloadModelChannelRequest", + "RepositoryChannelDownloadModelCreationParameterDict": "DownloadModelChannelRequestDict", +} + + def _generate_data_model_from_json_schema() -> None: """Produce Python data model classes from the exported JSON schema file.""" if not _CACHED_SCHEMA_PATH.exists(): @@ -387,19 +417,48 @@ def _generate_data_model_from_json_schema() -> None: model_ast = ast.parse(model_source) dict_token_replacements: dict[str, str] = {} exported_names: list[str] = [] + # Scan all nodes in the AST (only in-place node changes are valid here) + for node in ast.walk(model_ast): + match node: + case ast.Name(id=name) as name_node: + # Override names when looked up or assigned directly + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + name_node.id = override_name + case ast.Constant(value=name) as name_constant: + # Override names when they appear as type hint forward references + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + name_constant.value = override_name + # Scan top level nodes only (allows for adding & removing top level nodes) for node in model_ast.body: match node: case ast.ClassDef(name=name): - name = node.name + # Override names when defining classes + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + generated_name = name + name = node.name = override_name exported_names.append(name) if name.endswith("Dict"): struct_name = name.removesuffix("Dict") dict_token_replacements[struct_name] = name + if override_name is not None: + # Fix up docstring reference back to corresponding struct type + expr_node = node.body[0] + assert isinstance(expr_node, ast.Expr) + docstring_node = expr_node.value + assert isinstance(docstring_node, ast.Constant) + docstring = docstring_node.value + assert isinstance(docstring, str) + docstring_node.value = docstring.replace(generated_name, name) case ast.Assign(targets=[ast.Name(id=alias)], value=expr): - # We don't want to require the specific aliased types for dict inputs match expr: + # For dict fields, replace builtin type aliases with the builtin type names case ( + # alias = name ast.Name(id=name) + # alias = Annotated[name, ...] | ast.Subscript( value=ast.Name(id="Annotated"), slice=ast.Tuple(elts=[ast.Name(id=name), *_]), @@ -407,22 +466,24 @@ def _generate_data_model_from_json_schema() -> None: ): if hasattr(builtins, name): dict_token_replacements[alias] = name - + # Write any AST level changes back to the source file + # TODO: Move more changes to the AST rather than relying on raw text replacement + _MODEL_PATH.write_text(ast.unparse(model_ast)) # Additional type union names to be translated # Inject the dict versions of required type unions # (This is a brute force hack, but it's good enough while there's only a few that matter) _single_line_union = (" = ", " | ", "") - _multi_line_union = (" = (\n ", "\n | ", "\n)") + # _multi_line_union = (" = (\n ", "\n | ", "\n)") _dict_unions = ( ( - "ChatMessageData", + "AnyChatMessage", ( - "ChatMessageDataAssistant", - "ChatMessageDataUser", - "ChatMessageDataSystem", - "ChatMessageDataTool", + "AssistantResponse", + "UserMessage", + "SystemPrompt", + "ToolResultMessage", ), - _multi_line_union, + _single_line_union, ), ( "LlmToolUseSetting", diff --git a/src/lmstudio/_sdk_models/__init__.py b/src/lmstudio/_sdk_models/__init__.py index f3d4a6e..d7f6785 100644 --- a/src/lmstudio/_sdk_models/__init__.py +++ b/src/lmstudio/_sdk_models/__init__.py @@ -1,38 +1,21 @@ -# generated by datamodel-codegen: -# filename: lms-with-inferred-unions.json -# timestamp: 2025-03-20T15:15:46+00:00 - from __future__ import annotations - from typing import Annotated, Any, ClassVar, Literal, Mapping, Sequence, TypedDict - from msgspec import Meta, field from typing_extensions import NotRequired - from ..schemas import LMStudioStruct LogLevel = Literal["debug", "info", "warn", "error"] - - AllowableEnvVarKeys = Literal["HSA_OVERRIDE_GFX_VERSION"] - - AllowableEnvVars = Mapping[str, str] | None - - KebabCase = Annotated[str, Meta(pattern="^[a-z0-9]+(?:-[a-z0-9]+)*$")] - -############################################################################### -# BackendNotification -############################################################################### - - __all__ = [ "Accelerator", "AcceleratorDict", "ArtifactManifestBase", "ArtifactManifestBaseDict", + "AssistantResponse", + "AssistantResponseDict", "AvailablePresetsSampleItem", "AvailablePresetsSampleItemDict", "BackendNotification", @@ -43,22 +26,6 @@ "BlockLocationBeforeIdDict", "ChatHistoryData", "ChatHistoryDataDict", - "ChatMessageDataAssistant", - "ChatMessageDataAssistantDict", - "ChatMessageDataSystem", - "ChatMessageDataSystemDict", - "ChatMessageDataTool", - "ChatMessageDataToolDict", - "ChatMessageDataUser", - "ChatMessageDataUserDict", - "ChatMessagePartFileData", - "ChatMessagePartFileDataDict", - "ChatMessagePartTextData", - "ChatMessagePartTextDataDict", - "ChatMessagePartToolCallRequestData", - "ChatMessagePartToolCallRequestDataDict", - "ChatMessagePartToolCallResultData", - "ChatMessagePartToolCallResultDataDict", "CitationSource", "CitationSourceDict", "Config", @@ -77,6 +44,8 @@ "DiagnosticsLogEventDataLlmPredictionInput", "DiagnosticsLogEventDataLlmPredictionInputDict", "DiagnosticsLogEventDict", + "DownloadModelChannelRequest", + "DownloadModelChannelRequestDict", "DownloadProgressUpdate", "DownloadProgressUpdateDict", "EmbeddingChannelGetOrLoadCreationParameter", @@ -147,6 +116,8 @@ "ErrorDisplayDataGenericPresetNotFoundDict", "ErrorDisplayDataGenericSpecificModelUnloaded", "ErrorDisplayDataGenericSpecificModelUnloadedDict", + "FileHandle", + "FileHandleDict", "FilesChannelRetrieveCreationParameter", "FilesChannelRetrieveCreationParameterDict", "FilesChannelRetrieveToClientPacketOnFileProcessList", @@ -180,7 +151,6 @@ "Function", "FunctionDict", "FunctionToolCallRequest", - "FunctionToolCallRequestDict", "GetModelOpts", "GetModelOptsDict", "GpuSetting", @@ -235,8 +205,6 @@ "LlmChannelLoadModelToClientPacketSuccessDict", "LlmChannelLoadModelToServerPacketCancel", "LlmChannelLoadModelToServerPacketCancelDict", - "LlmChannelPredictCreationParameter", - "LlmChannelPredictCreationParameterDict", "LlmChannelPredictToClientPacketFragment", "LlmChannelPredictToClientPacketFragmentDict", "LlmChannelPredictToClientPacketPromptProcessingProgress", @@ -409,6 +377,8 @@ "PluginsRpcProcessingSuggestNameParameterDict", "PluginsRpcSetConfigSchematicsParameter", "PluginsRpcSetConfigSchematicsParameterDict", + "PredictionChannelRequest", + "PredictionChannelRequestDict", "PresetManifest", "PresetManifestDict", "ProcessingUpdateCitationBlockCreate", @@ -554,8 +524,6 @@ "RepositoryChannelDownloadArtifactToClientPacketSuccessDict", "RepositoryChannelDownloadArtifactToServerPacketCancel", "RepositoryChannelDownloadArtifactToServerPacketCancelDict", - "RepositoryChannelDownloadModelCreationParameter", - "RepositoryChannelDownloadModelCreationParameterDict", "RepositoryChannelDownloadModelToClientPacketDownloadProgress", "RepositoryChannelDownloadModelToClientPacketDownloadProgressDict", "RepositoryChannelDownloadModelToClientPacketStartFinalizing", @@ -596,10 +564,23 @@ "SerializedLMSExtendedErrorDict", "StatusStepState", "StatusStepStateDict", + "SystemPrompt", + "SystemPromptDict", "SystemRpcNotifyParameter", "SystemRpcNotifyParameterDict", "SystemRpcVersionReturns", "SystemRpcVersionReturnsDict", + "TextData", + "TextDataDict", + "ToolCallRequestData", + "ToolCallRequestDataDict", + "ToolCallRequestDict", + "ToolCallResultData", + "ToolCallResultDataDict", + "ToolResultMessage", + "ToolResultMessageDict", + "UserMessage", + "UserMessageDict", "VirtualModelManifest", "VirtualModelManifestDict", ] @@ -623,22 +604,14 @@ class BackendNotificationDict(TypedDict): noAutoDismiss: NotRequired[bool | None] -############################################################################### -# ChatMessagePartTextData -############################################################################### - - -class ChatMessagePartTextData( - LMStudioStruct["ChatMessagePartTextDataDict"], - kw_only=True, - tag_field="type", - tag="text", +class TextData( + LMStudioStruct["TextDataDict"], kw_only=True, tag_field="type", tag="text" ): type: ClassVar[Annotated[Literal["text"], Meta(title="Type")]] = "text" text: str -class ChatMessagePartTextDataDict(TypedDict): +class TextDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartTextData. NOTE: Multi-word keys are defined using their camelCase form, @@ -649,13 +622,8 @@ class ChatMessagePartTextDataDict(TypedDict): text: str -############################################################################### -# ChatMessagePartToolCallResultData -############################################################################### - - -class ChatMessagePartToolCallResultData( - LMStudioStruct["ChatMessagePartToolCallResultDataDict"], +class ToolCallResultData( + LMStudioStruct["ToolCallResultDataDict"], kw_only=True, tag_field="type", tag="toolCallResult", @@ -667,7 +635,7 @@ class ChatMessagePartToolCallResultData( tool_call_id: str | None = field(name="toolCallId", default=None) -class ChatMessagePartToolCallResultDataDict(TypedDict): +class ToolCallResultDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartToolCallResultData. NOTE: Multi-word keys are defined using their camelCase form, @@ -682,21 +650,14 @@ class ChatMessagePartToolCallResultDataDict(TypedDict): ChatMessageRoleData = Literal["assistant", "user", "system", "tool"] -############################################################################### -# FunctionToolCallRequest -############################################################################### - - -class FunctionToolCallRequest( - LMStudioStruct["FunctionToolCallRequestDict"], kw_only=True -): +class FunctionToolCallRequest(LMStudioStruct["ToolCallRequestDict"], kw_only=True): type: Annotated[Literal["function"], Meta(title="Type")] name: str id: str | None = None arguments: Mapping[str, Any] | None = None -class FunctionToolCallRequestDict(TypedDict): +class ToolCallRequestDict(TypedDict): """Corresponding typed dictionary definition for FunctionToolCallRequest. NOTE: Multi-word keys are defined using their camelCase form, @@ -710,19 +671,10 @@ class FunctionToolCallRequestDict(TypedDict): ToolCallRequest = FunctionToolCallRequest - - PageNumber = Sequence[int] - - LineNumber = Sequence[int] -############################################################################### -# CitationSource -############################################################################### - - class CitationSource(LMStudioStruct["CitationSourceDict"], kw_only=True): file_name: str = field(name="fileName") absolute_file_path: str | None = field(name="absoluteFilePath", default=None) @@ -746,11 +698,6 @@ class CitationSourceDict(TypedDict): ColorPalette = Literal["red", "green", "blue", "yellow", "orange", "purple", "default"] -############################################################################### -# EmbeddingModelAdditionalInfo -############################################################################### - - class EmbeddingModelAdditionalInfo( LMStudioStruct["EmbeddingModelAdditionalInfoDict"], kw_only=True ): @@ -767,11 +714,6 @@ class EmbeddingModelAdditionalInfoDict(TypedDict): maxContextLength: int -############################################################################### -# EmbeddingModelInstanceAdditionalInfo -############################################################################### - - class EmbeddingModelInstanceAdditionalInfo( LMStudioStruct["EmbeddingModelInstanceAdditionalInfoDict"], kw_only=True ): @@ -788,11 +730,6 @@ class EmbeddingModelInstanceAdditionalInfoDict(TypedDict): contextLength: int -############################################################################### -# SerializedLMSExtendedError -############################################################################### - - class SerializedLMSExtendedError( LMStudioStruct["SerializedLMSExtendedErrorDict"], kw_only=True ): @@ -822,8 +759,6 @@ class SerializedLMSExtendedErrorDict(TypedDict): FileNamespace = Literal["local", "base64"] - - FileType = Literal[ "image", "text/plain", @@ -832,25 +767,12 @@ class SerializedLMSExtendedErrorDict(TypedDict): "text/other", "unknown", ] - - DisabledGpu = Annotated[int, Meta(ge=0)] - - PriorityItem = Annotated[int, Meta(ge=0)] - - CustomRatioItem = Annotated[float, Meta(ge=0.0)] - - GpuSplitStrategy = Literal["evenly", "priorityOrder", "custom"] -############################################################################### -# KvConfigField -############################################################################### - - class KvConfigField(LMStudioStruct["KvConfigFieldDict"], kw_only=True): key: str value: Any | None = None @@ -885,11 +807,6 @@ class KvConfigFieldDict(TypedDict): ] -############################################################################### -# KvConfig -############################################################################### - - class KvConfig(LMStudioStruct["KvConfigDict"], kw_only=True): fields: Sequence[KvConfigField] @@ -904,11 +821,6 @@ class KvConfigDict(TypedDict): fields: Sequence[KvConfigFieldDict] -############################################################################### -# KvConfigStackLayer -############################################################################### - - class KvConfigStackLayer(LMStudioStruct["KvConfigStackLayerDict"], kw_only=True): layer_name: KvConfigLayerName = field(name="layerName") config: KvConfig @@ -925,11 +837,6 @@ class KvConfigStackLayerDict(TypedDict): config: KvConfigDict -############################################################################### -# KvConfigStack -############################################################################### - - class KvConfigStack(LMStudioStruct["KvConfigStackDict"], kw_only=True): layers: Sequence[KvConfigStackLayer] @@ -944,11 +851,6 @@ class KvConfigStackDict(TypedDict): layers: Sequence[KvConfigStackLayerDict] -############################################################################### -# LlmApplyPromptTemplateOpts -############################################################################### - - class LlmApplyPromptTemplateOpts( LMStudioStruct["LlmApplyPromptTemplateOptsDict"], kw_only=True ): @@ -968,27 +870,14 @@ class LlmApplyPromptTemplateOptsDict(TypedDict): LlmLlamaAccelerationOffloadRatio1 = Annotated[float, Meta(ge=0.0, le=1.0)] - - LlmLlamaAccelerationOffloadRatio = LlmLlamaAccelerationOffloadRatio1 | str - - LlmLlamaCacheQuantizationType = Literal[ "f32", "f16", "q8_0", "q4_0", "q4_1", "iq4_nl", "q5_0", "q5_1" ] - - LlmMlxKvCacheBitsType = Literal[8, 6, 4, 3, 2] - - LlmMlxKvCacheGroupSizeTypes = Literal[32, 64, 128] -############################################################################### -# LlmMlxKvCacheQuantization -############################################################################### - - class LlmMlxKvCacheQuantization( LMStudioStruct["LlmMlxKvCacheQuantizationDict"], kw_only=True ): @@ -1014,11 +903,6 @@ class LlmMlxKvCacheQuantizationDict(TypedDict): LlmSplitStrategy = Literal["evenly", "favorMainGpu"] -############################################################################### -# LlmAdditionalInfo -############################################################################### - - class LlmAdditionalInfo(LMStudioStruct["LlmAdditionalInfoDict"], kw_only=True): vision: bool trained_for_tool_use: bool = field(name="trainedForToolUse") @@ -1037,11 +921,6 @@ class LlmAdditionalInfoDict(TypedDict): maxContextLength: int -############################################################################### -# LlmInstanceAdditionalInfo -############################################################################### - - class LlmInstanceAdditionalInfo( LMStudioStruct["LlmInstanceAdditionalInfoDict"], kw_only=True ): @@ -1061,11 +940,6 @@ class LlmInstanceAdditionalInfoDict(TypedDict): LlmContextOverflowPolicy = Literal["stopAtLimit", "truncateMiddle", "rollingWindow"] -############################################################################### -# LlmLlamaMirostatSamplingConfig -############################################################################### - - class LlmLlamaMirostatSamplingConfig( LMStudioStruct["LlmLlamaMirostatSamplingConfigDict"], kw_only=True ): @@ -1087,16 +961,9 @@ class LlmLlamaMirostatSamplingConfigDict(TypedDict): LlmLlamaSingleLogitBiasModification = float | str - - MaxTokens = Annotated[int, Meta(ge=-1)] -############################################################################### -# LlmReasoningParsing -############################################################################### - - class LlmReasoningParsing(LMStudioStruct["LlmReasoningParsingDict"], kw_only=True): enabled: bool start_string: str = field(name="startString") @@ -1120,11 +987,6 @@ class LlmReasoningParsingDict(TypedDict): ] -############################################################################### -# LlmPredictionFragment -############################################################################### - - class LlmPredictionFragment(LMStudioStruct["LlmPredictionFragmentDict"], kw_only=True): content: str tokens_count: int = field(name="tokensCount") @@ -1155,16 +1017,9 @@ class LlmPredictionFragmentDict(TypedDict): "maxPredictedTokensReached", "contextLengthReached", ] - - LlmJinjaInputMessagesContentConfigTextFieldName = Literal["content", "text"] -############################################################################### -# LlmManualPromptTemplate -############################################################################### - - class LlmManualPromptTemplate( LMStudioStruct["LlmManualPromptTemplateDict"], kw_only=True ): @@ -1192,16 +1047,9 @@ class LlmManualPromptTemplateDict(TypedDict): LlmPromptTemplateType = Literal["manual", "jinja"] - - LlmStructuredPredictionType = Literal["none", "json", "gbnf"] -############################################################################### -# ProcessingUpdateCitationBlockCreate -############################################################################### - - class ProcessingUpdateCitationBlockCreate( LMStudioStruct["ProcessingUpdateCitationBlockCreateDict"], kw_only=True, @@ -1235,11 +1083,6 @@ class ProcessingUpdateCitationBlockCreateDict(TypedDict): lineNumber: NotRequired[int | LineNumber | None] -############################################################################### -# ProcessingUpdateContentBlockAppendText -############################################################################### - - class ProcessingUpdateContentBlockAppendText( LMStudioStruct["ProcessingUpdateContentBlockAppendTextDict"], kw_only=True, @@ -1269,11 +1112,6 @@ class ProcessingUpdateContentBlockAppendTextDict(TypedDict): fromDraftModel: NotRequired[bool | None] -############################################################################### -# ProcessingUpdateContentBlockReplaceText -############################################################################### - - class ProcessingUpdateContentBlockReplaceText( LMStudioStruct["ProcessingUpdateContentBlockReplaceTextDict"], kw_only=True, @@ -1299,11 +1137,6 @@ class ProcessingUpdateContentBlockReplaceTextDict(TypedDict): text: str -############################################################################### -# ProcessingUpdateContentBlockSetPrefix -############################################################################### - - class ProcessingUpdateContentBlockSetPrefix( LMStudioStruct["ProcessingUpdateContentBlockSetPrefixDict"], kw_only=True, @@ -1329,11 +1162,6 @@ class ProcessingUpdateContentBlockSetPrefixDict(TypedDict): prefix: str -############################################################################### -# ProcessingUpdateContentBlockSetSuffix -############################################################################### - - class ProcessingUpdateContentBlockSetSuffix( LMStudioStruct["ProcessingUpdateContentBlockSetSuffixDict"], kw_only=True, @@ -1359,11 +1187,6 @@ class ProcessingUpdateContentBlockSetSuffixDict(TypedDict): suffix: str -############################################################################### -# ProcessingUpdateDebugInfoBlockCreate -############################################################################### - - class ProcessingUpdateDebugInfoBlockCreate( LMStudioStruct["ProcessingUpdateDebugInfoBlockCreateDict"], kw_only=True, @@ -1389,11 +1212,6 @@ class ProcessingUpdateDebugInfoBlockCreateDict(TypedDict): debugInfo: str -############################################################################### -# ProcessingUpdateSetSenderName -############################################################################### - - class ProcessingUpdateSetSenderName( LMStudioStruct["ProcessingUpdateSetSenderNameDict"], kw_only=True, @@ -1417,11 +1235,6 @@ class ProcessingUpdateSetSenderNameDict(TypedDict): name: str -############################################################################### -# ProcessingUpdateStatusRemove -############################################################################### - - class ProcessingUpdateStatusRemove( LMStudioStruct["ProcessingUpdateStatusRemoveDict"], kw_only=True, @@ -1448,11 +1261,6 @@ class ProcessingUpdateStatusRemoveDict(TypedDict): StatusStepStatus = Literal["waiting", "loading", "done", "error", "canceled"] -############################################################################### -# GetModelOpts -############################################################################### - - class GetModelOpts(LMStudioStruct["GetModelOptsDict"], kw_only=True): model_tag: str | None = field(name="modelTag", default=None) ignore_user_config: bool | None = field(name="ignoreUserConfig", default=None) @@ -1472,22 +1280,11 @@ class GetModelOptsDict(TypedDict): ModelCompatibilityType = Literal[ "gguf", "safetensors", "onnx", "ggml", "mlx_placeholder", "torch_safetensors" ] - - ModelDomainType = Literal["llm", "embedding", "imageGen", "transcription", "tts"] - - PluginRunnerType = Literal["ecmascript"] - - ReasonableKeyString = Annotated[str, Meta(max_length=1024, min_length=1)] -############################################################################### -# DownloadProgressUpdate -############################################################################### - - class DownloadProgressUpdate( LMStudioStruct["DownloadProgressUpdateDict"], kw_only=True ): @@ -1508,11 +1305,6 @@ class DownloadProgressUpdateDict(TypedDict): speedBytesPerSecond: float -############################################################################### -# ModelSearchOpts -############################################################################### - - class ModelSearchOpts(LMStudioStruct["ModelSearchOptsDict"], kw_only=True): search_term: str | None = field(name="searchTerm", default=None) limit: Annotated[int, Meta(gt=0, le=25)] | None = None @@ -1533,11 +1325,6 @@ class ModelSearchOptsDict(TypedDict): compatibilityTypes: NotRequired[Sequence[ModelCompatibilityType] | None] -############################################################################### -# ModelSearchResultDownloadOptionData -############################################################################### - - class ModelSearchResultDownloadOptionData( LMStudioStruct["ModelSearchResultDownloadOptionDataDict"], kw_only=True ): @@ -1570,11 +1357,6 @@ class ModelSearchResultDownloadOptionDataDict(TypedDict): recommended: NotRequired[bool | None] -############################################################################### -# InternalRetrievalResultEntry -############################################################################### - - class InternalRetrievalResultEntry( LMStudioStruct["InternalRetrievalResultEntryDict"], kw_only=True ): @@ -1599,11 +1381,6 @@ class InternalRetrievalResultEntryDict(TypedDict): lineNumber: NotRequired[int | LineNumber | None] -############################################################################### -# InternalRetrievalResult -############################################################################### - - class InternalRetrievalResult( LMStudioStruct["InternalRetrievalResultDict"], kw_only=True ): @@ -1620,11 +1397,6 @@ class InternalRetrievalResultDict(TypedDict): entries: Sequence[InternalRetrievalResultEntryDict] -############################################################################### -# RetrievalChunk -############################################################################### - - class RetrievalChunk(LMStudioStruct["RetrievalChunkDict"], kw_only=True): content: str score: float @@ -1644,16 +1416,9 @@ class RetrievalChunkDict(TypedDict): RetrievalFileProcessingStep = Literal["loading", "chunking", "embedding"] - - AcceleratorType = Literal["unknown", "integratedGpu", "dedicatedGpu"] -############################################################################### -# Config -############################################################################### - - class Config(LMStudioStruct["ConfigDict"], kw_only=True): load: KvConfig | None = None operation: KvConfig | None = None @@ -1670,11 +1435,6 @@ class ConfigDict(TypedDict): operation: NotRequired[KvConfigDict | None] -############################################################################### -# VirtualModelManifest -############################################################################### - - class VirtualModelManifest(LMStudioStruct["VirtualModelManifestDict"], kw_only=True): model: Annotated[str, Meta(pattern="^[^/]+\\/[^/]+$")] base: str @@ -1696,11 +1456,6 @@ class VirtualModelManifestDict(TypedDict): ZodSchema = Any -############################################################################### -# EmbeddingRpcUnloadModelParameter -############################################################################### - - class EmbeddingRpcUnloadModelParameter( LMStudioStruct["EmbeddingRpcUnloadModelParameterDict"], kw_only=True ): @@ -1720,11 +1475,6 @@ class EmbeddingRpcUnloadModelParameterDict(TypedDict): EmbeddingRpcUnloadModelReturns = Any -############################################################################### -# PseudoEmbeddingRpcUnloadModel -############################################################################### - - class PseudoEmbeddingRpcUnloadModel( LMStudioStruct["PseudoEmbeddingRpcUnloadModelDict"], kw_only=True ): @@ -1744,11 +1494,6 @@ class PseudoEmbeddingRpcUnloadModelDict(TypedDict): EmbeddingRpcListLoadedParameter = Any -############################################################################### -# EmbeddingRpcEmbedStringReturns -############################################################################### - - class EmbeddingRpcEmbedStringReturns( LMStudioStruct["EmbeddingRpcEmbedStringReturnsDict"], kw_only=True ): @@ -1765,11 +1510,6 @@ class EmbeddingRpcEmbedStringReturnsDict(TypedDict): embedding: Sequence[float] -############################################################################### -# EmbeddingRpcTokenizeReturns -############################################################################### - - class EmbeddingRpcTokenizeReturns( LMStudioStruct["EmbeddingRpcTokenizeReturnsDict"], kw_only=True ): @@ -1786,11 +1526,6 @@ class EmbeddingRpcTokenizeReturnsDict(TypedDict): tokens: Sequence[float] -############################################################################### -# EmbeddingRpcCountTokensReturns -############################################################################### - - class EmbeddingRpcCountTokensReturns( LMStudioStruct["EmbeddingRpcCountTokensReturnsDict"], kw_only=True ): @@ -1807,11 +1542,6 @@ class EmbeddingRpcCountTokensReturnsDict(TypedDict): tokenCount: int -############################################################################### -# EmbeddingChannelLoadModelCreationParameter -############################################################################### - - class EmbeddingChannelLoadModelCreationParameter( LMStudioStruct["EmbeddingChannelLoadModelCreationParameterDict"], kw_only=True ): @@ -1834,11 +1564,6 @@ class EmbeddingChannelLoadModelCreationParameterDict(TypedDict): ttlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# EmbeddingChannelGetOrLoadCreationParameter -############################################################################### - - class EmbeddingChannelGetOrLoadCreationParameter( LMStudioStruct["EmbeddingChannelGetOrLoadCreationParameterDict"], kw_only=True ): @@ -1861,11 +1586,6 @@ class EmbeddingChannelGetOrLoadCreationParameterDict(TypedDict): loadTtlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# FilesRpcGetLocalFileAbsolutePathParameter -############################################################################### - - class FilesRpcGetLocalFileAbsolutePathParameter( LMStudioStruct["FilesRpcGetLocalFileAbsolutePathParameterDict"], kw_only=True ): @@ -1882,11 +1602,6 @@ class FilesRpcGetLocalFileAbsolutePathParameterDict(TypedDict): fileName: str -############################################################################### -# FilesRpcGetLocalFileAbsolutePathReturns -############################################################################### - - class FilesRpcGetLocalFileAbsolutePathReturns( LMStudioStruct["FilesRpcGetLocalFileAbsolutePathReturnsDict"], kw_only=True ): @@ -1903,11 +1618,6 @@ class FilesRpcGetLocalFileAbsolutePathReturnsDict(TypedDict): path: str -############################################################################### -# PseudoFilesRpcGetLocalFileAbsolutePath -############################################################################### - - class PseudoFilesRpcGetLocalFileAbsolutePath( LMStudioStruct["PseudoFilesRpcGetLocalFileAbsolutePathDict"], kw_only=True ): @@ -1926,11 +1636,6 @@ class PseudoFilesRpcGetLocalFileAbsolutePathDict(TypedDict): returns: FilesRpcGetLocalFileAbsolutePathReturnsDict -############################################################################### -# FilesRpcUploadFileBase64Parameter -############################################################################### - - class FilesRpcUploadFileBase64Parameter( LMStudioStruct["FilesRpcUploadFileBase64ParameterDict"], kw_only=True ): @@ -1949,11 +1654,6 @@ class FilesRpcUploadFileBase64ParameterDict(TypedDict): contentBase64: str -############################################################################### -# FilesRpcUploadFileBase64Returns -############################################################################### - - class FilesRpcUploadFileBase64Returns( LMStudioStruct["FilesRpcUploadFileBase64ReturnsDict"], kw_only=True ): @@ -1974,11 +1674,6 @@ class FilesRpcUploadFileBase64ReturnsDict(TypedDict): sizeBytes: int -############################################################################### -# PseudoFilesRpcUploadFileBase64 -############################################################################### - - class PseudoFilesRpcUploadFileBase64( LMStudioStruct["PseudoFilesRpcUploadFileBase64Dict"], kw_only=True ): @@ -1997,11 +1692,6 @@ class PseudoFilesRpcUploadFileBase64Dict(TypedDict): returns: FilesRpcUploadFileBase64ReturnsDict -############################################################################### -# LlmRpcUnloadModelParameter -############################################################################### - - class LlmRpcUnloadModelParameter( LMStudioStruct["LlmRpcUnloadModelParameterDict"], kw_only=True ): @@ -2021,11 +1711,6 @@ class LlmRpcUnloadModelParameterDict(TypedDict): LlmRpcUnloadModelReturns = Any -############################################################################### -# PseudoLlmRpcUnloadModel -############################################################################### - - class PseudoLlmRpcUnloadModel( LMStudioStruct["PseudoLlmRpcUnloadModelDict"], kw_only=True ): @@ -2045,11 +1730,6 @@ class PseudoLlmRpcUnloadModelDict(TypedDict): LlmRpcListLoadedParameter = Any -############################################################################### -# LlmRpcApplyPromptTemplateReturns -############################################################################### - - class LlmRpcApplyPromptTemplateReturns( LMStudioStruct["LlmRpcApplyPromptTemplateReturnsDict"], kw_only=True ): @@ -2066,11 +1746,6 @@ class LlmRpcApplyPromptTemplateReturnsDict(TypedDict): formatted: str -############################################################################### -# LlmRpcTokenizeReturns -############################################################################### - - class LlmRpcTokenizeReturns(LMStudioStruct["LlmRpcTokenizeReturnsDict"], kw_only=True): tokens: Sequence[float] @@ -2085,11 +1760,6 @@ class LlmRpcTokenizeReturnsDict(TypedDict): tokens: Sequence[float] -############################################################################### -# LlmRpcCountTokensReturns -############################################################################### - - class LlmRpcCountTokensReturns( LMStudioStruct["LlmRpcCountTokensReturnsDict"], kw_only=True ): @@ -2109,11 +1779,6 @@ class LlmRpcCountTokensReturnsDict(TypedDict): LlmRpcPreloadDraftModelReturns = Any -############################################################################### -# LlmChannelLoadModelCreationParameter -############################################################################### - - class LlmChannelLoadModelCreationParameter( LMStudioStruct["LlmChannelLoadModelCreationParameterDict"], kw_only=True ): @@ -2136,11 +1801,6 @@ class LlmChannelLoadModelCreationParameterDict(TypedDict): ttlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# LlmChannelGetOrLoadCreationParameter -############################################################################### - - class LlmChannelGetOrLoadCreationParameter( LMStudioStruct["LlmChannelGetOrLoadCreationParameterDict"], kw_only=True ): @@ -2173,11 +1833,6 @@ class PseudoPluginsRpcReindexPlugins: PluginsRpcProcessingHandleUpdateReturns = Any -############################################################################### -# PluginsRpcProcessingPullHistoryParameter -############################################################################### - - class PluginsRpcProcessingPullHistoryParameter( LMStudioStruct["PluginsRpcProcessingPullHistoryParameterDict"], kw_only=True ): @@ -2198,11 +1853,6 @@ class PluginsRpcProcessingPullHistoryParameterDict(TypedDict): includeCurrent: bool -############################################################################### -# PluginsRpcProcessingGetOrLoadModelParameter -############################################################################### - - class PluginsRpcProcessingGetOrLoadModelParameter( LMStudioStruct["PluginsRpcProcessingGetOrLoadModelParameterDict"], kw_only=True ): @@ -2221,11 +1871,6 @@ class PluginsRpcProcessingGetOrLoadModelParameterDict(TypedDict): token: str -############################################################################### -# PluginsRpcProcessingGetOrLoadModelReturns -############################################################################### - - class PluginsRpcProcessingGetOrLoadModelReturns( LMStudioStruct["PluginsRpcProcessingGetOrLoadModelReturnsDict"], kw_only=True ): @@ -2242,11 +1887,6 @@ class PluginsRpcProcessingGetOrLoadModelReturnsDict(TypedDict): identifier: str -############################################################################### -# PseudoPluginsRpcProcessingGetOrLoadModel -############################################################################### - - class PseudoPluginsRpcProcessingGetOrLoadModel( LMStudioStruct["PseudoPluginsRpcProcessingGetOrLoadModelDict"], kw_only=True ): @@ -2265,11 +1905,6 @@ class PseudoPluginsRpcProcessingGetOrLoadModelDict(TypedDict): returns: PluginsRpcProcessingGetOrLoadModelReturnsDict -############################################################################### -# PluginsRpcProcessingHasStatusParameter -############################################################################### - - class PluginsRpcProcessingHasStatusParameter( LMStudioStruct["PluginsRpcProcessingHasStatusParameterDict"], kw_only=True ): @@ -2291,11 +1926,6 @@ class PluginsRpcProcessingHasStatusParameterDict(TypedDict): PluginsRpcProcessingHasStatusReturns = bool -############################################################################### -# PseudoPluginsRpcProcessingHasStatus -############################################################################### - - class PseudoPluginsRpcProcessingHasStatus( LMStudioStruct["PseudoPluginsRpcProcessingHasStatusDict"], kw_only=True ): @@ -2314,11 +1944,6 @@ class PseudoPluginsRpcProcessingHasStatusDict(TypedDict): returns: bool -############################################################################### -# PluginsRpcProcessingNeedsNamingParameter -############################################################################### - - class PluginsRpcProcessingNeedsNamingParameter( LMStudioStruct["PluginsRpcProcessingNeedsNamingParameterDict"], kw_only=True ): @@ -2340,11 +1965,6 @@ class PluginsRpcProcessingNeedsNamingParameterDict(TypedDict): PluginsRpcProcessingNeedsNamingReturns = bool -############################################################################### -# PseudoPluginsRpcProcessingNeedsNaming -############################################################################### - - class PseudoPluginsRpcProcessingNeedsNaming( LMStudioStruct["PseudoPluginsRpcProcessingNeedsNamingDict"], kw_only=True ): @@ -2363,11 +1983,6 @@ class PseudoPluginsRpcProcessingNeedsNamingDict(TypedDict): returns: bool -############################################################################### -# PluginsRpcProcessingSuggestNameParameter -############################################################################### - - class PluginsRpcProcessingSuggestNameParameter( LMStudioStruct["PluginsRpcProcessingSuggestNameParameterDict"], kw_only=True ): @@ -2391,11 +2006,6 @@ class PluginsRpcProcessingSuggestNameParameterDict(TypedDict): PluginsRpcProcessingSuggestNameReturns = Any -############################################################################### -# PseudoPluginsRpcProcessingSuggestName -############################################################################### - - class PseudoPluginsRpcProcessingSuggestName( LMStudioStruct["PseudoPluginsRpcProcessingSuggestNameDict"], kw_only=True ): @@ -2412,11 +2022,6 @@ class PseudoPluginsRpcProcessingSuggestNameDict(TypedDict): parameter: PluginsRpcProcessingSuggestNameParameterDict -############################################################################### -# PluginsRpcProcessingSetSenderNameParameter -############################################################################### - - class PluginsRpcProcessingSetSenderNameParameter( LMStudioStruct["PluginsRpcProcessingSetSenderNameParameterDict"], kw_only=True ): @@ -2440,11 +2045,6 @@ class PluginsRpcProcessingSetSenderNameParameterDict(TypedDict): PluginsRpcProcessingSetSenderNameReturns = Any -############################################################################### -# PseudoPluginsRpcProcessingSetSenderName -############################################################################### - - class PseudoPluginsRpcProcessingSetSenderName( LMStudioStruct["PseudoPluginsRpcProcessingSetSenderNameDict"], kw_only=True ): @@ -2462,8 +2062,6 @@ class PseudoPluginsRpcProcessingSetSenderNameDict(TypedDict): PluginsRpcSetConfigSchematicsReturns = Any - - PluginsRpcPluginInitCompletedReturns = Any @@ -2471,11 +2069,6 @@ class PseudoPluginsRpcPluginInitCompleted: pass -############################################################################### -# RepositoryRpcSearchModelsParameter -############################################################################### - - class RepositoryRpcSearchModelsParameter( LMStudioStruct["RepositoryRpcSearchModelsParameterDict"], kw_only=True ): @@ -2492,11 +2085,6 @@ class RepositoryRpcSearchModelsParameterDict(TypedDict): opts: ModelSearchOptsDict -############################################################################### -# RepositoryRpcGetModelDownloadOptionsReturns -############################################################################### - - class RepositoryRpcGetModelDownloadOptionsReturns( LMStudioStruct["RepositoryRpcGetModelDownloadOptionsReturnsDict"], kw_only=True ): @@ -2513,11 +2101,6 @@ class RepositoryRpcGetModelDownloadOptionsReturnsDict(TypedDict): results: Sequence[ModelSearchResultDownloadOptionDataDict] -############################################################################### -# RepositoryRpcInstallPluginDependenciesParameter -############################################################################### - - class RepositoryRpcInstallPluginDependenciesParameter( LMStudioStruct["RepositoryRpcInstallPluginDependenciesParameterDict"], kw_only=True ): @@ -2537,11 +2120,6 @@ class RepositoryRpcInstallPluginDependenciesParameterDict(TypedDict): RepositoryRpcInstallPluginDependenciesReturns = Any -############################################################################### -# PseudoRepositoryRpcInstallPluginDependencies -############################################################################### - - class PseudoRepositoryRpcInstallPluginDependencies( LMStudioStruct["PseudoRepositoryRpcInstallPluginDependenciesDict"], kw_only=True ): @@ -2558,18 +2136,13 @@ class PseudoRepositoryRpcInstallPluginDependenciesDict(TypedDict): parameter: RepositoryRpcInstallPluginDependenciesParameterDict -############################################################################### -# RepositoryChannelDownloadModelCreationParameter -############################################################################### - - -class RepositoryChannelDownloadModelCreationParameter( - LMStudioStruct["RepositoryChannelDownloadModelCreationParameterDict"], kw_only=True +class DownloadModelChannelRequest( + LMStudioStruct["DownloadModelChannelRequestDict"], kw_only=True ): download_identifier: str = field(name="downloadIdentifier") -class RepositoryChannelDownloadModelCreationParameterDict(TypedDict): +class DownloadModelChannelRequestDict(TypedDict): """Corresponding typed dictionary definition for RepositoryChannelDownloadModelCreationParameter. NOTE: Multi-word keys are defined using their camelCase form, @@ -2579,11 +2152,6 @@ class RepositoryChannelDownloadModelCreationParameterDict(TypedDict): downloadIdentifier: str -############################################################################### -# RepositoryChannelDownloadArtifactCreationParameter -############################################################################### - - class RepositoryChannelDownloadArtifactCreationParameter( LMStudioStruct["RepositoryChannelDownloadArtifactCreationParameterDict"], kw_only=True, @@ -2607,11 +2175,6 @@ class RepositoryChannelDownloadArtifactCreationParameterDict(TypedDict): path: str -############################################################################### -# RepositoryChannelPushArtifactCreationParameter -############################################################################### - - class RepositoryChannelPushArtifactCreationParameter( LMStudioStruct["RepositoryChannelPushArtifactCreationParameterDict"], kw_only=True ): @@ -2631,11 +2194,6 @@ class RepositoryChannelPushArtifactCreationParameterDict(TypedDict): SystemRpcNotifyReturns = Any -############################################################################### -# SystemRpcVersionReturns -############################################################################### - - class SystemRpcVersionReturns( LMStudioStruct["SystemRpcVersionReturnsDict"], kw_only=True ): @@ -2654,11 +2212,6 @@ class SystemRpcVersionReturnsDict(TypedDict): build: float -############################################################################### -# PseudoSystemRpcVersion -############################################################################### - - class PseudoSystemRpcVersion( LMStudioStruct["PseudoSystemRpcVersionDict"], kw_only=True ): @@ -2679,22 +2232,14 @@ class PseudoSystemChannelAlive: pass -############################################################################### -# ChatMessageDataTool -############################################################################### - - -class ChatMessageDataTool( - LMStudioStruct["ChatMessageDataToolDict"], - kw_only=True, - tag_field="role", - tag="tool", +class ToolResultMessage( + LMStudioStruct["ToolResultMessageDict"], kw_only=True, tag_field="role", tag="tool" ): role: ClassVar[Annotated[Literal["tool"], Meta(title="Role")]] = "tool" - content: Sequence[ChatMessagePartToolCallResultData] + content: Sequence[ToolCallResultData] -class ChatMessageDataToolDict(TypedDict): +class ToolResultMessageDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataTool. NOTE: Multi-word keys are defined using their camelCase form, @@ -2702,12 +2247,7 @@ class ChatMessageDataToolDict(TypedDict): """ role: Literal["tool"] - content: Sequence[ChatMessagePartToolCallResultDataDict] - - -############################################################################### -# DiagnosticsLogEventDataLlmPredictionInput -############################################################################### + content: Sequence[ToolCallResultDataDict] class DiagnosticsLogEventDataLlmPredictionInput( @@ -2732,11 +2272,6 @@ class DiagnosticsLogEventDataLlmPredictionInputDict(TypedDict): input: str -############################################################################### -# ErrorDisplayDataGenericSpecificModelUnloaded -############################################################################### - - class ErrorDisplayDataGenericSpecificModelUnloaded( LMStudioStruct["ErrorDisplayDataGenericSpecificModelUnloadedDict"], kw_only=True, @@ -2758,11 +2293,6 @@ class ErrorDisplayDataGenericSpecificModelUnloadedDict(TypedDict): code: Literal["generic.specificModelUnloaded"] -############################################################################### -# ErrorDisplayDataGenericPathNotFound -############################################################################### - - class ErrorDisplayDataGenericPathNotFound( LMStudioStruct["ErrorDisplayDataGenericPathNotFoundDict"], kw_only=True, @@ -2790,11 +2320,6 @@ class ErrorDisplayDataGenericPathNotFoundDict(TypedDict): totalModels: int -############################################################################### -# ErrorDisplayDataGenericIdentifierNotFound -############################################################################### - - class ErrorDisplayDataGenericIdentifierNotFound( LMStudioStruct["ErrorDisplayDataGenericIdentifierNotFoundDict"], kw_only=True, @@ -2822,11 +2347,6 @@ class ErrorDisplayDataGenericIdentifierNotFoundDict(TypedDict): totalLoadedModels: int -############################################################################### -# ErrorDisplayDataGenericDomainMismatch -############################################################################### - - class ErrorDisplayDataGenericDomainMismatch( LMStudioStruct["ErrorDisplayDataGenericDomainMismatchDict"], kw_only=True, @@ -2854,11 +2374,6 @@ class ErrorDisplayDataGenericDomainMismatchDict(TypedDict): expectedDomain: ModelDomainType -############################################################################### -# ErrorDisplayDataGenericEngineDoesNotSupportFeature -############################################################################### - - class ErrorDisplayDataGenericEngineDoesNotSupportFeature( LMStudioStruct["ErrorDisplayDataGenericEngineDoesNotSupportFeatureDict"], kw_only=True, @@ -2890,11 +2405,6 @@ class ErrorDisplayDataGenericEngineDoesNotSupportFeatureDict(TypedDict): supportedVersion: NotRequired[str | None] -############################################################################### -# AvailablePresetsSampleItem -############################################################################### - - class AvailablePresetsSampleItem( LMStudioStruct["AvailablePresetsSampleItemDict"], kw_only=True ): @@ -2913,11 +2423,6 @@ class AvailablePresetsSampleItemDict(TypedDict): name: str -############################################################################### -# ErrorDisplayDataGenericPresetNotFound -############################################################################### - - class ErrorDisplayDataGenericPresetNotFound( LMStudioStruct["ErrorDisplayDataGenericPresetNotFoundDict"], kw_only=True, @@ -2949,11 +2454,6 @@ class ErrorDisplayDataGenericPresetNotFoundDict(TypedDict): totalAvailablePresets: int -############################################################################### -# ParsedFileIdentifierLocal -############################################################################### - - class ParsedFileIdentifierLocal( LMStudioStruct["ParsedFileIdentifierLocalDict"], kw_only=True, @@ -2975,11 +2475,6 @@ class ParsedFileIdentifierLocalDict(TypedDict): fileName: str -############################################################################### -# ParsedFileIdentifierBase64 -############################################################################### - - class ParsedFileIdentifierBase64( LMStudioStruct["ParsedFileIdentifierBase64Dict"], kw_only=True, @@ -3001,11 +2496,6 @@ class ParsedFileIdentifierBase64Dict(TypedDict): base64Data: str -############################################################################### -# KvConfigFieldDependencyConditionEquals -############################################################################### - - class KvConfigFieldDependencyConditionEquals( LMStudioStruct["KvConfigFieldDependencyConditionEqualsDict"], kw_only=True, @@ -3027,11 +2517,6 @@ class KvConfigFieldDependencyConditionEqualsDict(TypedDict): value: NotRequired[Any | None] -############################################################################### -# KvConfigFieldDependencyConditionNotEquals -############################################################################### - - class KvConfigFieldDependencyConditionNotEquals( LMStudioStruct["KvConfigFieldDependencyConditionNotEqualsDict"], kw_only=True, @@ -3053,11 +2538,6 @@ class KvConfigFieldDependencyConditionNotEqualsDict(TypedDict): value: NotRequired[Any | None] -############################################################################### -# ContentBlockStyleDefault -############################################################################### - - class ContentBlockStyleDefault( LMStudioStruct["ContentBlockStyleDefaultDict"], kw_only=True, @@ -3077,11 +2557,6 @@ class ContentBlockStyleDefaultDict(TypedDict): type: Literal["default"] -############################################################################### -# ContentBlockStyleCustomLabel -############################################################################### - - class ContentBlockStyleCustomLabel( LMStudioStruct["ContentBlockStyleCustomLabelDict"], kw_only=True, @@ -3107,11 +2582,6 @@ class ContentBlockStyleCustomLabelDict(TypedDict): color: NotRequired[ColorPalette | None] -############################################################################### -# ContentBlockStyleThinking -############################################################################### - - class ContentBlockStyleThinking( LMStudioStruct["ContentBlockStyleThinkingDict"], kw_only=True, @@ -3135,11 +2605,6 @@ class ContentBlockStyleThinkingDict(TypedDict): title: NotRequired[str | None] -############################################################################### -# LlmContextReferenceJsonFile -############################################################################### - - class LlmContextReferenceJsonFile( LMStudioStruct["LlmContextReferenceJsonFileDict"], kw_only=True, @@ -3161,11 +2626,6 @@ class LlmContextReferenceJsonFileDict(TypedDict): absPath: str -############################################################################### -# LlmContextReferenceYamlFile -############################################################################### - - class LlmContextReferenceYamlFile( LMStudioStruct["LlmContextReferenceYamlFileDict"], kw_only=True, @@ -3187,11 +2647,6 @@ class LlmContextReferenceYamlFileDict(TypedDict): absPath: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigSimple -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigSimple( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigSimpleDict"], kw_only=True, @@ -3213,11 +2668,6 @@ class LlmJinjaInputMessagesContentImagesConfigSimpleDict(TypedDict): value: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigNumbered -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigNumbered( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigNumberedDict"], kw_only=True, @@ -3241,11 +2691,6 @@ class LlmJinjaInputMessagesContentImagesConfigNumberedDict(TypedDict): suffix: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigObject -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigObject( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigObjectDict"], kw_only=True, @@ -3265,11 +2710,6 @@ class LlmJinjaInputMessagesContentImagesConfigObjectDict(TypedDict): type: Literal["object"] -############################################################################### -# LlmToolUseSettingNone -############################################################################### - - class LlmToolUseSettingNone( LMStudioStruct["LlmToolUseSettingNoneDict"], kw_only=True, @@ -3289,11 +2729,6 @@ class LlmToolUseSettingNoneDict(TypedDict): type: Literal["none"] -############################################################################### -# BlockLocationBeforeId -############################################################################### - - class BlockLocationBeforeId( LMStudioStruct["BlockLocationBeforeIdDict"], kw_only=True, @@ -3315,11 +2750,6 @@ class BlockLocationBeforeIdDict(TypedDict): id: str -############################################################################### -# BlockLocationAfterId -############################################################################### - - class BlockLocationAfterId( LMStudioStruct["BlockLocationAfterIdDict"], kw_only=True, @@ -3341,11 +2771,6 @@ class BlockLocationAfterIdDict(TypedDict): id: str -############################################################################### -# ModelSpecifierInstanceReference -############################################################################### - - class ModelSpecifierInstanceReference( LMStudioStruct["ModelSpecifierInstanceReferenceDict"], kw_only=True, @@ -3369,11 +2794,6 @@ class ModelSpecifierInstanceReferenceDict(TypedDict): instanceReference: str -############################################################################### -# ModelSearchResultIdentifierCatalog -############################################################################### - - class ModelSearchResultIdentifierCatalog( LMStudioStruct["ModelSearchResultIdentifierCatalogDict"], kw_only=True, @@ -3395,11 +2815,6 @@ class ModelSearchResultIdentifierCatalogDict(TypedDict): identifier: str -############################################################################### -# ModelSearchResultIdentifierHf -############################################################################### - - class ModelSearchResultIdentifierHf( LMStudioStruct["ModelSearchResultIdentifierHfDict"], kw_only=True, @@ -3421,11 +2836,6 @@ class ModelSearchResultIdentifierHfDict(TypedDict): identifier: str -############################################################################### -# RetrievalChunkingMethodRecursiveV1 -############################################################################### - - class RetrievalChunkingMethodRecursiveV1( LMStudioStruct["RetrievalChunkingMethodRecursiveV1Dict"], kw_only=True ): @@ -3446,11 +2856,6 @@ class RetrievalChunkingMethodRecursiveV1Dict(TypedDict): chunkOverlap: int -############################################################################### -# DiagnosticsChannelStreamLogsToServerPacketStop -############################################################################### - - class DiagnosticsChannelStreamLogsToServerPacketStop( LMStudioStruct["DiagnosticsChannelStreamLogsToServerPacketStopDict"], kw_only=True ): @@ -3467,11 +2872,6 @@ class DiagnosticsChannelStreamLogsToServerPacketStopDict(TypedDict): type: Annotated[Literal["stop"], Meta(title="Type")] -############################################################################### -# EmbeddingChannelLoadModelToClientPacketProgress -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketProgress( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketProgressDict"], kw_only=True, @@ -3493,11 +2893,6 @@ class EmbeddingChannelLoadModelToClientPacketProgressDict(TypedDict): progress: float -############################################################################### -# EmbeddingChannelLoadModelToServerPacketCancel -############################################################################### - - class EmbeddingChannelLoadModelToServerPacketCancel( LMStudioStruct["EmbeddingChannelLoadModelToServerPacketCancelDict"], kw_only=True ): @@ -3514,11 +2909,6 @@ class EmbeddingChannelLoadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketLoadProgress -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketLoadProgress( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketLoadProgressDict"], kw_only=True, @@ -3542,11 +2932,6 @@ class EmbeddingChannelGetOrLoadToClientPacketLoadProgressDict(TypedDict): progress: float -############################################################################### -# EmbeddingChannelGetOrLoadToServerPacketCancel -############################################################################### - - class EmbeddingChannelGetOrLoadToServerPacketCancel( LMStudioStruct["EmbeddingChannelGetOrLoadToServerPacketCancelDict"], kw_only=True ): @@ -3563,11 +2948,6 @@ class EmbeddingChannelGetOrLoadToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessList -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessList( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessListDict"], kw_only=True, @@ -3591,11 +2971,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessListDict(TypedDict): indices: Sequence[int] -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStartDict"], kw_only=True, @@ -3619,11 +2994,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStartDict(TypedDict): index: int -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingEndDict"], kw_only=True, @@ -3647,11 +3017,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingEndDict(TypedDict): index: int -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStepStartDict"], kw_only=True, @@ -3677,11 +3042,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepStartDict(TypedDict) step: RetrievalFileProcessingStep -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepProgress -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepProgress( LMStudioStruct[ "FilesChannelRetrieveToClientPacketOnFileProcessingStepProgressDict" @@ -3711,11 +3071,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepProgressDict(TypedDi progress: float -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStepEndDict"], kw_only=True, @@ -3741,11 +3096,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepEndDict(TypedDict): step: RetrievalFileProcessingStep -############################################################################### -# FilesChannelRetrieveToClientPacketOnSearchingStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnSearchingStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnSearchingStartDict"], kw_only=True, @@ -3767,11 +3117,6 @@ class FilesChannelRetrieveToClientPacketOnSearchingStartDict(TypedDict): type: Literal["onSearchingStart"] -############################################################################### -# FilesChannelRetrieveToClientPacketOnSearchingEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnSearchingEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnSearchingEndDict"], kw_only=True, @@ -3793,11 +3138,6 @@ class FilesChannelRetrieveToClientPacketOnSearchingEndDict(TypedDict): type: Literal["onSearchingEnd"] -############################################################################### -# FilesChannelRetrieveToClientPacketResult -############################################################################### - - class FilesChannelRetrieveToClientPacketResult( LMStudioStruct["FilesChannelRetrieveToClientPacketResultDict"], kw_only=True, @@ -3819,11 +3159,6 @@ class FilesChannelRetrieveToClientPacketResultDict(TypedDict): result: InternalRetrievalResultDict -############################################################################### -# FilesChannelRetrieveToServerPacketStop -############################################################################### - - class FilesChannelRetrieveToServerPacketStop( LMStudioStruct["FilesChannelRetrieveToServerPacketStopDict"], kw_only=True ): @@ -3840,11 +3175,6 @@ class FilesChannelRetrieveToServerPacketStopDict(TypedDict): type: Annotated[Literal["stop"], Meta(title="Type")] -############################################################################### -# LlmChannelLoadModelToClientPacketProgress -############################################################################### - - class LlmChannelLoadModelToClientPacketProgress( LMStudioStruct["LlmChannelLoadModelToClientPacketProgressDict"], kw_only=True, @@ -3866,11 +3196,6 @@ class LlmChannelLoadModelToClientPacketProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelLoadModelToServerPacketCancel -############################################################################### - - class LlmChannelLoadModelToServerPacketCancel( LMStudioStruct["LlmChannelLoadModelToServerPacketCancelDict"], kw_only=True ): @@ -3887,11 +3212,6 @@ class LlmChannelLoadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# LlmChannelGetOrLoadToClientPacketLoadProgress -############################################################################### - - class LlmChannelGetOrLoadToClientPacketLoadProgress( LMStudioStruct["LlmChannelGetOrLoadToClientPacketLoadProgressDict"], kw_only=True, @@ -3915,11 +3235,6 @@ class LlmChannelGetOrLoadToClientPacketLoadProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelGetOrLoadToServerPacketCancel -############################################################################### - - class LlmChannelGetOrLoadToServerPacketCancel( LMStudioStruct["LlmChannelGetOrLoadToServerPacketCancelDict"], kw_only=True ): @@ -3936,11 +3251,6 @@ class LlmChannelGetOrLoadToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# Logprob -############################################################################### - - class Logprob(LMStudioStruct["LogprobDict"], kw_only=True): text: str logprob: float @@ -3957,11 +3267,6 @@ class LogprobDict(TypedDict): logprob: float -############################################################################### -# LlmChannelPredictToClientPacketFragment -############################################################################### - - class LlmChannelPredictToClientPacketFragment( LMStudioStruct["LlmChannelPredictToClientPacketFragmentDict"], kw_only=True, @@ -3985,11 +3290,6 @@ class LlmChannelPredictToClientPacketFragmentDict(TypedDict): logprobs: NotRequired[Sequence[Sequence[LogprobDict]] | None] -############################################################################### -# LlmChannelPredictToClientPacketPromptProcessingProgress -############################################################################### - - class LlmChannelPredictToClientPacketPromptProcessingProgress( LMStudioStruct["LlmChannelPredictToClientPacketPromptProcessingProgressDict"], kw_only=True, @@ -4013,11 +3313,6 @@ class LlmChannelPredictToClientPacketPromptProcessingProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationStart -############################################################################### - - class LlmChannelPredictToClientPacketToolCallGenerationStart( LMStudioStruct["LlmChannelPredictToClientPacketToolCallGenerationStartDict"], kw_only=True, @@ -4039,11 +3334,6 @@ class LlmChannelPredictToClientPacketToolCallGenerationStartDict(TypedDict): type: Literal["toolCallGenerationStart"] -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationEnd -############################################################################### - - class LlmChannelPredictToClientPacketToolCallGenerationEnd( LMStudioStruct["LlmChannelPredictToClientPacketToolCallGenerationEndDict"], kw_only=True, @@ -4064,12 +3354,7 @@ class LlmChannelPredictToClientPacketToolCallGenerationEndDict(TypedDict): """ type: Literal["toolCallGenerationEnd"] - toolCallRequest: ToolCallRequest - - -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationFailed -############################################################################### + toolCallRequest: ToolCallRequestDict class LlmChannelPredictToClientPacketToolCallGenerationFailed( @@ -4093,11 +3378,6 @@ class LlmChannelPredictToClientPacketToolCallGenerationFailedDict(TypedDict): type: Literal["toolCallGenerationFailed"] -############################################################################### -# LlmChannelPredictToServerPacketCancel -############################################################################### - - class LlmChannelPredictToServerPacketCancel( LMStudioStruct["LlmChannelPredictToServerPacketCancelDict"], kw_only=True ): @@ -4114,11 +3394,6 @@ class LlmChannelPredictToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# PluginsChannelRegisterDevelopmentPluginToClientPacketReady -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginToClientPacketReady( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginToClientPacketReadyDict"], kw_only=True, @@ -4140,11 +3415,6 @@ class PluginsChannelRegisterDevelopmentPluginToClientPacketReadyDict(TypedDict): clientPasskey: str -############################################################################### -# PluginsChannelRegisterDevelopmentPluginToServerPacketEnd -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginToServerPacketEnd( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginToServerPacketEndDict"], kw_only=True, @@ -4162,11 +3432,6 @@ class PluginsChannelRegisterDevelopmentPluginToServerPacketEndDict(TypedDict): type: Annotated[Literal["end"], Meta(title="Type")] -############################################################################### -# PluginsChannelSetPreprocessorToClientPacketAbort -############################################################################### - - class PluginsChannelSetPreprocessorToClientPacketAbort( LMStudioStruct["PluginsChannelSetPreprocessorToClientPacketAbortDict"], kw_only=True, @@ -4188,11 +3453,6 @@ class PluginsChannelSetPreprocessorToClientPacketAbortDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketAborted -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketAborted( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketAbortedDict"], kw_only=True, @@ -4214,11 +3474,6 @@ class PluginsChannelSetPreprocessorToServerPacketAbortedDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketError -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketError( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketErrorDict"], kw_only=True, @@ -4242,11 +3497,6 @@ class PluginsChannelSetPreprocessorToServerPacketErrorDict(TypedDict): error: SerializedLMSExtendedErrorDict -############################################################################### -# PluginsChannelSetGeneratorToClientPacketAbort -############################################################################### - - class PluginsChannelSetGeneratorToClientPacketAbort( LMStudioStruct["PluginsChannelSetGeneratorToClientPacketAbortDict"], kw_only=True, @@ -4268,11 +3518,6 @@ class PluginsChannelSetGeneratorToClientPacketAbortDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketComplete -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketComplete( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketCompleteDict"], kw_only=True, @@ -4294,11 +3539,6 @@ class PluginsChannelSetGeneratorToServerPacketCompleteDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketAborted -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketAborted( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketAbortedDict"], kw_only=True, @@ -4320,11 +3560,6 @@ class PluginsChannelSetGeneratorToServerPacketAbortedDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketError -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketError( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketErrorDict"], kw_only=True, @@ -4348,11 +3583,6 @@ class PluginsChannelSetGeneratorToServerPacketErrorDict(TypedDict): error: SerializedLMSExtendedErrorDict -############################################################################### -# RepositoryChannelDownloadModelToClientPacketDownloadProgress -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketDownloadProgress( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketDownloadProgressDict"], kw_only=True, @@ -4376,11 +3606,6 @@ class RepositoryChannelDownloadModelToClientPacketDownloadProgressDict(TypedDict update: DownloadProgressUpdateDict -############################################################################### -# RepositoryChannelDownloadModelToClientPacketStartFinalizing -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketStartFinalizing( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketStartFinalizingDict"], kw_only=True, @@ -4402,11 +3627,6 @@ class RepositoryChannelDownloadModelToClientPacketStartFinalizingDict(TypedDict) type: Literal["startFinalizing"] -############################################################################### -# RepositoryChannelDownloadModelToClientPacketSuccess -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketSuccess( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketSuccessDict"], kw_only=True, @@ -4428,11 +3648,6 @@ class RepositoryChannelDownloadModelToClientPacketSuccessDict(TypedDict): defaultIdentifier: str -############################################################################### -# RepositoryChannelDownloadModelToServerPacketCancel -############################################################################### - - class RepositoryChannelDownloadModelToServerPacketCancel( LMStudioStruct["RepositoryChannelDownloadModelToServerPacketCancelDict"], kw_only=True, @@ -4450,11 +3665,6 @@ class RepositoryChannelDownloadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketDownloadProgress -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketDownloadProgress( LMStudioStruct[ "RepositoryChannelDownloadArtifactToClientPacketDownloadProgressDict" @@ -4480,11 +3690,6 @@ class RepositoryChannelDownloadArtifactToClientPacketDownloadProgressDict(TypedD update: DownloadProgressUpdateDict -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketStartFinalizing -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketStartFinalizing( LMStudioStruct[ "RepositoryChannelDownloadArtifactToClientPacketStartFinalizingDict" @@ -4508,11 +3713,6 @@ class RepositoryChannelDownloadArtifactToClientPacketStartFinalizingDict(TypedDi type: Literal["startFinalizing"] -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketSuccess -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketSuccess( LMStudioStruct["RepositoryChannelDownloadArtifactToClientPacketSuccessDict"], kw_only=True, @@ -4532,11 +3732,6 @@ class RepositoryChannelDownloadArtifactToClientPacketSuccessDict(TypedDict): type: Literal["success"] -############################################################################### -# RepositoryChannelDownloadArtifactToServerPacketCancel -############################################################################### - - class RepositoryChannelDownloadArtifactToServerPacketCancel( LMStudioStruct["RepositoryChannelDownloadArtifactToServerPacketCancelDict"], kw_only=True, @@ -4554,11 +3749,6 @@ class RepositoryChannelDownloadArtifactToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# RepositoryChannelPushArtifactToClientPacketMessage -############################################################################### - - class RepositoryChannelPushArtifactToClientPacketMessage( LMStudioStruct["RepositoryChannelPushArtifactToClientPacketMessageDict"], kw_only=True, @@ -4578,11 +3768,6 @@ class RepositoryChannelPushArtifactToClientPacketMessageDict(TypedDict): message: str -############################################################################### -# RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrl -############################################################################### - - class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrl( LMStudioStruct[ "RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrlDict" @@ -4610,11 +3795,6 @@ class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrlDict( url: str -############################################################################### -# RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticated -############################################################################### - - class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticated( LMStudioStruct[ "RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticatedDict" @@ -4639,117 +3819,44 @@ class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticatedDict(TypedD Description = Annotated[str, Meta(max_length=1000)] - - Name = Annotated[ str, Meta(max_length=100, min_length=1, pattern="^[a-z0-9]+(?:-[a-z0-9]+)*$") ] - - Revision = int - - DescriptionModel = str - - NoAutoDismiss = bool - - Title = str - - MaxContextLength = int - - Architecture = str - - DisplayName = str - - ModelKey = str - - ParamsString = str - - Path = str - - SizeBytes = int - - ContextLength = int - - Identifier = str - - InstanceReference = str - - AdditionalProperties = Any - - Fields = Sequence[KvConfigField] - - TrainedForToolUse = bool - - Vision = bool - - ContextOverflowPolicy = LlmContextOverflowPolicy - - CpuThreads = int - - DraftModel = str - - MaxTokensModel = Any | MaxTokens | bool - - MinPSampling = Any | float | bool - - ReasoningParsing = LlmReasoningParsing - - RepeatPenalty = Any | float | bool - - SpeculativeDecodingMinContinueDraftingProbability = float - - SpeculativeDecodingMinDraftLengthToConsider = Annotated[int, Meta(ge=0)] - - SpeculativeDecodingNumDraftTokensExact = Annotated[int, Meta(ge=1)] - - StopStrings = Sequence[str] - - Temperature = Annotated[float, Meta(ge=0.0)] - - ToolCallStopStrings = Sequence[str] - - TopKSampling = float - - TopPSampling = Any | float | bool -############################################################################### -# ArtifactManifestBase -############################################################################### - - class ArtifactManifestBase(LMStudioStruct["ArtifactManifestBaseDict"], kw_only=True): owner: KebabCase name: Annotated[ @@ -4774,16 +3881,8 @@ class ArtifactManifestBaseDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# ChatMessagePartFileData -############################################################################### - - -class ChatMessagePartFileData( - LMStudioStruct["ChatMessagePartFileDataDict"], - kw_only=True, - tag_field="type", - tag="file", +class FileHandle( + LMStudioStruct["FileHandleDict"], kw_only=True, tag_field="type", tag="file" ): type: ClassVar[Annotated[Literal["file"], Meta(title="Type")]] = "file" name: str @@ -4792,7 +3891,7 @@ class ChatMessagePartFileData( file_type: FileType = field(name="fileType") -class ChatMessagePartFileDataDict(TypedDict): +class FileHandleDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartFileData. NOTE: Multi-word keys are defined using their camelCase form, @@ -4806,13 +3905,8 @@ class ChatMessagePartFileDataDict(TypedDict): fileType: FileType -############################################################################### -# ChatMessagePartToolCallRequestData -############################################################################### - - -class ChatMessagePartToolCallRequestData( - LMStudioStruct["ChatMessagePartToolCallRequestDataDict"], +class ToolCallRequestData( + LMStudioStruct["ToolCallRequestDataDict"], kw_only=True, tag_field="type", tag="toolCallRequest", @@ -4823,7 +3917,7 @@ class ChatMessagePartToolCallRequestData( tool_call_request: ToolCallRequest = field(name="toolCallRequest") -class ChatMessagePartToolCallRequestDataDict(TypedDict): +class ToolCallRequestDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartToolCallRequestData. NOTE: Multi-word keys are defined using their camelCase form, @@ -4831,17 +3925,12 @@ class ChatMessagePartToolCallRequestDataDict(TypedDict): """ type: Literal["toolCallRequest"] - toolCallRequest: ToolCallRequest + toolCallRequest: ToolCallRequestDict DiagnosticsLogEventData = DiagnosticsLogEventDataLlmPredictionInput -############################################################################### -# DiagnosticsLogEvent -############################################################################### - - class DiagnosticsLogEvent(LMStudioStruct["DiagnosticsLogEventDict"], kw_only=True): timestamp: float data: DiagnosticsLogEventData @@ -4858,11 +3947,6 @@ class DiagnosticsLogEventDict(TypedDict): data: DiagnosticsLogEventData -############################################################################### -# EmbeddingModelInfo -############################################################################### - - class EmbeddingModelInfo( LMStudioStruct["EmbeddingModelInfoDict"], kw_only=True, @@ -4898,11 +3982,6 @@ class EmbeddingModelInfoDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# EmbeddingModelInstanceInfo -############################################################################### - - class EmbeddingModelInstanceInfo( LMStudioStruct["EmbeddingModelInstanceInfoDict"], kw_only=True, @@ -4947,11 +4026,6 @@ class EmbeddingModelInstanceInfoDict(TypedDict): ParsedFileIdentifier = ParsedFileIdentifierLocal | ParsedFileIdentifierBase64 -############################################################################### -# GpuSplitConfig -############################################################################### - - class GpuSplitConfig(LMStudioStruct["GpuSplitConfigDict"], kw_only=True): strategy: GpuSplitStrategy disabled_gpus: Sequence[DisabledGpu] = field(name="disabledGpus") @@ -4975,16 +4049,9 @@ class GpuSplitConfigDict(TypedDict): ContentBlockStyle = ( ContentBlockStyleDefault | ContentBlockStyleCustomLabel | ContentBlockStyleThinking ) - - LlmContextReference = LlmContextReferenceJsonFile | LlmContextReferenceYamlFile -############################################################################### -# GpuSetting -############################################################################### - - class GpuSetting(LMStudioStruct["GpuSettingDict"], kw_only=True): ratio: LlmLlamaAccelerationOffloadRatio | None = None main_gpu: int | None = field(name="mainGpu", default=None) @@ -5005,11 +4072,6 @@ class GpuSettingDict(TypedDict): disabledGpus: NotRequired[Sequence[int] | None] -############################################################################### -# LlmLoadModelConfig -############################################################################### - - class LlmLoadModelConfig(LMStudioStruct["LlmLoadModelConfigDict"], kw_only=True): gpu: GpuSetting | None = None gpu_strict_vram_cap: bool | None = field(name="gpuStrictVramCap", default=None) @@ -5070,11 +4132,6 @@ class LlmLoadModelConfigDict(TypedDict): ] -############################################################################### -# LlmInfo -############################################################################### - - class LlmInfo(LMStudioStruct["LlmInfoDict"], kw_only=True, tag_field="type", tag="llm"): type: ClassVar[Annotated[Literal["llm"], Meta(title="Type")]] = "llm" model_key: ModelKey = field(name="modelKey") @@ -5109,11 +4166,6 @@ class LlmInfoDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# LlmInstanceInfo -############################################################################### - - class LlmInstanceInfo( LMStudioStruct["LlmInstanceInfoDict"], kw_only=True, tag_field="type", tag="llm" ): @@ -5157,16 +4209,9 @@ class LlmInstanceInfoDict(TypedDict): LlmLlamaLogitBiasConfigItem = Sequence[float | LlmLlamaSingleLogitBiasModification] - - LlmLlamaLogitBiasConfig = Sequence[LlmLlamaLogitBiasConfigItem] -############################################################################### -# LlmPredictionStats -############################################################################### - - class LlmPredictionStats(LMStudioStruct["LlmPredictionStatsDict"], kw_only=True): stop_reason: LlmPredictionStopReason = field(name="stopReason") tokens_per_second: float | None = field(name="tokensPerSecond", default=None) @@ -5222,11 +4267,6 @@ class LlmPredictionStatsDict(TypedDict): ) -############################################################################### -# LlmStructuredPredictionSetting -############################################################################### - - class LlmStructuredPredictionSetting( LMStudioStruct["LlmStructuredPredictionSettingDict"], kw_only=True ): @@ -5250,11 +4290,6 @@ class LlmStructuredPredictionSettingDict(TypedDict): BlockLocation = BlockLocationBeforeId | BlockLocationAfterId -############################################################################### -# ProcessingUpdateContentBlockCreate -############################################################################### - - class ProcessingUpdateContentBlockCreate( LMStudioStruct["ProcessingUpdateContentBlockCreateDict"], kw_only=True, @@ -5286,11 +4321,6 @@ class ProcessingUpdateContentBlockCreateDict(TypedDict): suffix: NotRequired[str | None] -############################################################################### -# ProcessingUpdateContentBlockSetStyle -############################################################################### - - class ProcessingUpdateContentBlockSetStyle( LMStudioStruct["ProcessingUpdateContentBlockSetStyleDict"], kw_only=True, @@ -5316,11 +4346,6 @@ class ProcessingUpdateContentBlockSetStyleDict(TypedDict): style: ContentBlockStyle -############################################################################### -# StatusStepState -############################################################################### - - class StatusStepState(LMStudioStruct["StatusStepStateDict"], kw_only=True): status: StatusStepStatus text: str @@ -5338,16 +4363,9 @@ class StatusStepStateDict(TypedDict): ModelInfo = LlmInfo | EmbeddingModelInfo - - ModelInstanceInfo = LlmInstanceInfo | EmbeddingModelInstanceInfo -############################################################################### -# ModelInfoBase -############################################################################### - - class ModelInfoBase(LMStudioStruct["ModelInfoBaseDict"], kw_only=True): model_key: ModelKey = field(name="modelKey") format: ModelCompatibilityType @@ -5374,11 +4392,6 @@ class ModelInfoBaseDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# ModelInstanceInfoBase -############################################################################### - - class ModelInstanceInfoBase(LMStudioStruct["ModelInstanceInfoBaseDict"], kw_only=True): model_key: ModelKey = field(name="modelKey") format: ModelCompatibilityType @@ -5409,11 +4422,6 @@ class ModelInstanceInfoBaseDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# ModelManifest -############################################################################### - - class ModelManifest( LMStudioStruct["ModelManifestDict"], kw_only=True, tag_field="type", tag="model" ): @@ -5440,11 +4448,6 @@ class ModelManifestDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# ModelQuery -############################################################################### - - class ModelQuery(LMStudioStruct["ModelQueryDict"], kw_only=True): domain: ModelDomainType | None = None identifier: ReasonableKeyString | None = None @@ -5465,11 +4468,6 @@ class ModelQueryDict(TypedDict): vision: NotRequired[bool | None] -############################################################################### -# PluginManifest -############################################################################### - - class PluginManifest( LMStudioStruct["PluginManifestDict"], kw_only=True, tag_field="type", tag="plugin" ): @@ -5496,11 +4494,6 @@ class PluginManifestDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# PresetManifest -############################################################################### - - class PresetManifest( LMStudioStruct["PresetManifestDict"], kw_only=True, tag_field="type", tag="preset" ): @@ -5528,16 +4521,9 @@ class PresetManifestDict(TypedDict): ModelSearchResultIdentifier = ( ModelSearchResultIdentifierCatalog | ModelSearchResultIdentifierHf ) - - RetrievalChunkingMethod = RetrievalChunkingMethodRecursiveV1 -############################################################################### -# Accelerator -############################################################################### - - class Accelerator(LMStudioStruct["AcceleratorDict"], kw_only=True): name: str device_id: int = field(name="deviceId") @@ -5558,11 +4544,6 @@ class AcceleratorDict(TypedDict): type: AcceleratorType -############################################################################### -# Runtime -############################################################################### - - class Runtime(LMStudioStruct["RuntimeDict"], kw_only=True): key: str name: str @@ -5581,11 +4562,6 @@ class RuntimeDict(TypedDict): accelerators: Sequence[AcceleratorDict] -############################################################################### -# KvConfigSchematicsDeserializationError -############################################################################### - - class KvConfigSchematicsDeserializationError( LMStudioStruct["KvConfigSchematicsDeserializationErrorDict"], kw_only=True ): @@ -5604,11 +4580,6 @@ class KvConfigSchematicsDeserializationErrorDict(TypedDict): error: AdditionalProperties -############################################################################### -# SerializedKVConfigSchematicsField -############################################################################### - - class SerializedKVConfigSchematicsField( LMStudioStruct["SerializedKVConfigSchematicsFieldDict"], kw_only=True ): @@ -5633,11 +4604,6 @@ class SerializedKVConfigSchematicsFieldDict(TypedDict): defaultValue: AdditionalProperties -############################################################################### -# SerializedKVConfigSchematics -############################################################################### - - class SerializedKVConfigSchematics( LMStudioStruct["SerializedKVConfigSchematicsDict"], kw_only=True ): @@ -5657,16 +4623,9 @@ class SerializedKVConfigSchematicsDict(TypedDict): DiagnosticsChannelStreamLogsToServerPacket = ( DiagnosticsChannelStreamLogsToServerPacketStop ) - - EmbeddingRpcListLoadedReturns = Sequence[EmbeddingModelInstanceInfo] -############################################################################### -# PseudoEmbeddingRpcListLoaded -############################################################################### - - class PseudoEmbeddingRpcListLoaded( LMStudioStruct["PseudoEmbeddingRpcListLoadedDict"], kw_only=True ): @@ -5685,11 +4644,6 @@ class PseudoEmbeddingRpcListLoadedDict(TypedDict): parameter: NotRequired[EmbeddingRpcListLoadedParameter | None] -############################################################################### -# EmbeddingRpcGetLoadConfigReturns -############################################################################### - - class EmbeddingRpcGetLoadConfigReturns( LMStudioStruct["EmbeddingRpcGetLoadConfigReturnsDict"], kw_only=True ): @@ -5707,16 +4661,9 @@ class EmbeddingRpcGetLoadConfigReturnsDict(TypedDict): EmbeddingChannelLoadModelToServerPacket = EmbeddingChannelLoadModelToServerPacketCancel - - EmbeddingChannelGetOrLoadToServerPacket = EmbeddingChannelGetOrLoadToServerPacketCancel -############################################################################### -# FilesChannelRetrieveCreationParameter -############################################################################### - - class FilesChannelRetrieveCreationParameter( LMStudioStruct["FilesChannelRetrieveCreationParameterDict"], kw_only=True ): @@ -5748,16 +4695,9 @@ class FilesChannelRetrieveCreationParameterDict(TypedDict): | FilesChannelRetrieveToClientPacketOnSearchingEnd | FilesChannelRetrieveToClientPacketResult ) - - FilesChannelRetrieveToServerPacket = FilesChannelRetrieveToServerPacketStop -############################################################################### -# PseudoFilesChannelRetrieve -############################################################################### - - class PseudoFilesChannelRetrieve( LMStudioStruct["PseudoFilesChannelRetrieveDict"], kw_only=True ): @@ -5780,11 +4720,6 @@ class PseudoFilesChannelRetrieveDict(TypedDict): toServerPacket: FilesChannelRetrieveToServerPacket -############################################################################### -# PseudoFiles -############################################################################### - - class PseudoFiles(LMStudioStruct["PseudoFilesDict"], kw_only=True): rpc_get_local_file_absolute_path: PseudoFilesRpcGetLocalFileAbsolutePath = field( name="rpcGetLocalFileAbsolutePath" @@ -5810,11 +4745,6 @@ class PseudoFilesDict(TypedDict): LlmRpcListLoadedReturns = Sequence[LlmInstanceInfo] -############################################################################### -# PseudoLlmRpcListLoaded -############################################################################### - - class PseudoLlmRpcListLoaded( LMStudioStruct["PseudoLlmRpcListLoadedDict"], kw_only=True ): @@ -5833,11 +4763,6 @@ class PseudoLlmRpcListLoadedDict(TypedDict): parameter: NotRequired[LlmRpcListLoadedParameter | None] -############################################################################### -# LlmRpcGetLoadConfigReturns -############################################################################### - - class LlmRpcGetLoadConfigReturns( LMStudioStruct["LlmRpcGetLoadConfigReturnsDict"], kw_only=True ): @@ -5855,19 +4780,10 @@ class LlmRpcGetLoadConfigReturnsDict(TypedDict): LlmChannelLoadModelToServerPacket = LlmChannelLoadModelToServerPacketCancel - - LlmChannelGetOrLoadToServerPacket = LlmChannelGetOrLoadToServerPacketCancel - - LlmChannelPredictToServerPacket = LlmChannelPredictToServerPacketCancel -############################################################################### -# PluginsRpcSetConfigSchematicsParameter -############################################################################### - - class PluginsRpcSetConfigSchematicsParameter( LMStudioStruct["PluginsRpcSetConfigSchematicsParameterDict"], kw_only=True ): @@ -5884,11 +4800,6 @@ class PluginsRpcSetConfigSchematicsParameterDict(TypedDict): schematics: SerializedKVConfigSchematicsDict -############################################################################### -# PseudoPluginsRpcSetConfigSchematics -############################################################################### - - class PseudoPluginsRpcSetConfigSchematics( LMStudioStruct["PseudoPluginsRpcSetConfigSchematicsDict"], kw_only=True ): @@ -5905,11 +4816,6 @@ class PseudoPluginsRpcSetConfigSchematicsDict(TypedDict): parameter: PluginsRpcSetConfigSchematicsParameterDict -############################################################################### -# PluginsChannelRegisterDevelopmentPluginCreationParameter -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginCreationParameter( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginCreationParameterDict"], kw_only=True, @@ -5930,18 +4836,11 @@ class PluginsChannelRegisterDevelopmentPluginCreationParameterDict(TypedDict): PluginsChannelRegisterDevelopmentPluginToClientPacket = ( PluginsChannelRegisterDevelopmentPluginToClientPacketReady ) - - PluginsChannelRegisterDevelopmentPluginToServerPacket = ( PluginsChannelRegisterDevelopmentPluginToServerPacketEnd ) -############################################################################### -# PseudoPluginsChannelRegisterDevelopmentPlugin -############################################################################### - - class PseudoPluginsChannelRegisterDevelopmentPlugin( LMStudioStruct["PseudoPluginsChannelRegisterDevelopmentPluginDict"], kw_only=True ): @@ -5975,11 +4874,6 @@ class PseudoPluginsChannelRegisterDevelopmentPluginDict(TypedDict): ) -############################################################################### -# RepositoryRpcGetModelDownloadOptionsParameter -############################################################################### - - class RepositoryRpcGetModelDownloadOptionsParameter( LMStudioStruct["RepositoryRpcGetModelDownloadOptionsParameterDict"], kw_only=True ): @@ -5998,11 +4892,6 @@ class RepositoryRpcGetModelDownloadOptionsParameterDict(TypedDict): modelSearchResultIdentifier: ModelSearchResultIdentifier -############################################################################### -# PseudoRepositoryRpcGetModelDownloadOptions -############################################################################### - - class PseudoRepositoryRpcGetModelDownloadOptions( LMStudioStruct["PseudoRepositoryRpcGetModelDownloadOptionsDict"], kw_only=True ): @@ -6026,24 +4915,15 @@ class PseudoRepositoryRpcGetModelDownloadOptionsDict(TypedDict): | RepositoryChannelDownloadModelToClientPacketStartFinalizing | RepositoryChannelDownloadModelToClientPacketSuccess ) - - RepositoryChannelDownloadModelToServerPacket = ( RepositoryChannelDownloadModelToServerPacketCancel ) -############################################################################### -# PseudoRepositoryChannelDownloadModel -############################################################################### - - class PseudoRepositoryChannelDownloadModel( LMStudioStruct["PseudoRepositoryChannelDownloadModelDict"], kw_only=True ): - creation_parameter: RepositoryChannelDownloadModelCreationParameter = field( - name="creationParameter" - ) + creation_parameter: DownloadModelChannelRequest = field(name="creationParameter") to_client_packet: RepositoryChannelDownloadModelToClientPacket = field( name="toClientPacket" ) @@ -6059,7 +4939,7 @@ class PseudoRepositoryChannelDownloadModelDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - creationParameter: RepositoryChannelDownloadModelCreationParameterDict + creationParameter: DownloadModelChannelRequestDict toClientPacket: RepositoryChannelDownloadModelToClientPacket toServerPacket: RepositoryChannelDownloadModelToServerPacket @@ -6069,18 +4949,11 @@ class PseudoRepositoryChannelDownloadModelDict(TypedDict): | RepositoryChannelDownloadArtifactToClientPacketStartFinalizing | RepositoryChannelDownloadArtifactToClientPacketSuccess ) - - RepositoryChannelDownloadArtifactToServerPacket = ( RepositoryChannelDownloadArtifactToServerPacketCancel ) -############################################################################### -# PseudoRepositoryChannelDownloadArtifact -############################################################################### - - class PseudoRepositoryChannelDownloadArtifact( LMStudioStruct["PseudoRepositoryChannelDownloadArtifactDict"], kw_only=True ): @@ -6112,11 +4985,6 @@ class PseudoRepositoryChannelDownloadArtifactDict(TypedDict): ) -############################################################################### -# PseudoRepositoryChannelPushArtifact -############################################################################### - - class PseudoRepositoryChannelPushArtifact( LMStudioStruct["PseudoRepositoryChannelPushArtifactDict"], kw_only=True ): @@ -6145,11 +5013,6 @@ class PseudoRepositoryChannelPushArtifactDict(TypedDict): ) -############################################################################### -# PseudoRepositoryChannelEnsureAuthenticated -############################################################################### - - class PseudoRepositoryChannelEnsureAuthenticated( LMStudioStruct["PseudoRepositoryChannelEnsureAuthenticatedDict"], kw_only=True ): @@ -6171,11 +5034,6 @@ class PseudoRepositoryChannelEnsureAuthenticatedDict(TypedDict): SystemRpcListDownloadedModelsReturns = Sequence[ModelInfo] -############################################################################### -# PseudoSystemRpcListDownloadedModels -############################################################################### - - class PseudoSystemRpcListDownloadedModels( LMStudioStruct["PseudoSystemRpcListDownloadedModelsDict"], kw_only=True ): @@ -6192,11 +5050,6 @@ class PseudoSystemRpcListDownloadedModelsDict(TypedDict): returns: SystemRpcListDownloadedModelsReturns -############################################################################### -# SystemRpcNotifyParameter -############################################################################### - - class SystemRpcNotifyParameter( LMStudioStruct["SystemRpcNotifyParameterDict"], kw_only=True ): @@ -6217,11 +5070,6 @@ class SystemRpcNotifyParameterDict(TypedDict): noAutoDismiss: NotRequired[bool | None] -############################################################################### -# PseudoSystemRpcNotify -############################################################################### - - class PseudoSystemRpcNotify(LMStudioStruct["PseudoSystemRpcNotifyDict"], kw_only=True): parameter: SystemRpcNotifyParameter @@ -6236,11 +5084,6 @@ class PseudoSystemRpcNotifyDict(TypedDict): parameter: SystemRpcNotifyParameterDict -############################################################################### -# PseudoSystem -############################################################################### - - class PseudoSystem(LMStudioStruct["PseudoSystemDict"], kw_only=True): rpc_list_downloaded_models: PseudoSystemRpcListDownloadedModels = field( name="rpcListDownloadedModels" @@ -6263,26 +5106,17 @@ class PseudoSystemDict(TypedDict): channelAlive: PseudoSystemChannelAlive -############################################################################### -# ChatMessageDataAssistant -############################################################################### - - -class ChatMessageDataAssistant( - LMStudioStruct["ChatMessageDataAssistantDict"], +class AssistantResponse( + LMStudioStruct["AssistantResponseDict"], kw_only=True, tag_field="role", tag="assistant", ): role: ClassVar[Annotated[Literal["assistant"], Meta(title="Role")]] = "assistant" - content: Sequence[ - ChatMessagePartTextData - | ChatMessagePartFileData - | ChatMessagePartToolCallRequestData - ] + content: Sequence[TextData | FileHandle | ToolCallRequestData] -class ChatMessageDataAssistantDict(TypedDict): +class AssistantResponseDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataAssistant. NOTE: Multi-word keys are defined using their camelCase form, @@ -6290,29 +5124,17 @@ class ChatMessageDataAssistantDict(TypedDict): """ role: Literal["assistant"] - content: Sequence[ - ChatMessagePartTextDataDict - | ChatMessagePartFileDataDict - | ChatMessagePartToolCallRequestDataDict - ] - + content: Sequence[TextDataDict | FileHandleDict | ToolCallRequestDataDict] -############################################################################### -# ChatMessageDataUser -############################################################################### - -class ChatMessageDataUser( - LMStudioStruct["ChatMessageDataUserDict"], - kw_only=True, - tag_field="role", - tag="user", +class UserMessage( + LMStudioStruct["UserMessageDict"], kw_only=True, tag_field="role", tag="user" ): role: ClassVar[Annotated[Literal["user"], Meta(title="Role")]] = "user" - content: Sequence[ChatMessagePartTextData | ChatMessagePartFileData] + content: Sequence[TextData | FileHandle] -class ChatMessageDataUserDict(TypedDict): +class UserMessageDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataUser. NOTE: Multi-word keys are defined using their camelCase form, @@ -6320,25 +5142,17 @@ class ChatMessageDataUserDict(TypedDict): """ role: Literal["user"] - content: Sequence[ChatMessagePartTextDataDict | ChatMessagePartFileDataDict] - + content: Sequence[TextDataDict | FileHandleDict] -############################################################################### -# ChatMessageDataSystem -############################################################################### - -class ChatMessageDataSystem( - LMStudioStruct["ChatMessageDataSystemDict"], - kw_only=True, - tag_field="role", - tag="system", +class SystemPrompt( + LMStudioStruct["SystemPromptDict"], kw_only=True, tag_field="role", tag="system" ): role: ClassVar[Annotated[Literal["system"], Meta(title="Role")]] = "system" - content: Sequence[ChatMessagePartTextData | ChatMessagePartFileData] + content: Sequence[TextData | FileHandle] -class ChatMessageDataSystemDict(TypedDict): +class SystemPromptDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataSystem. NOTE: Multi-word keys are defined using their camelCase form, @@ -6346,12 +5160,7 @@ class ChatMessageDataSystemDict(TypedDict): """ role: Literal["system"] - content: Sequence[ChatMessagePartTextDataDict | ChatMessagePartFileDataDict] - - -############################################################################### -# ErrorDisplayDataGenericNoModelMatchingQuery -############################################################################### + content: Sequence[TextDataDict | FileHandleDict] class ErrorDisplayDataGenericNoModelMatchingQuery( @@ -6386,11 +5195,6 @@ class ErrorDisplayDataGenericNoModelMatchingQueryDict(TypedDict): ) -############################################################################### -# LlmJinjaInputMessagesContentConfigString -############################################################################### - - class LlmJinjaInputMessagesContentConfigString( LMStudioStruct["LlmJinjaInputMessagesContentConfigStringDict"], kw_only=True, @@ -6414,11 +5218,6 @@ class LlmJinjaInputMessagesContentConfigStringDict(TypedDict): imagesConfig: NotRequired[LlmJinjaInputMessagesContentImagesConfig | None] -############################################################################### -# LlmJinjaInputMessagesContentConfigArray -############################################################################### - - class LlmJinjaInputMessagesContentConfigArray( LMStudioStruct["LlmJinjaInputMessagesContentConfigArrayDict"], kw_only=True, @@ -6446,11 +5245,6 @@ class LlmJinjaInputMessagesContentConfigArrayDict(TypedDict): imagesConfig: NotRequired[LlmJinjaInputMessagesContentImagesConfig | None] -############################################################################### -# LlmToolParametersObject -############################################################################### - - class LlmToolParametersObject( LMStudioStruct["LlmToolParametersObjectDict"], kw_only=True ): @@ -6475,11 +5269,6 @@ class LlmToolParametersObjectDict(TypedDict): additionalProperties: NotRequired[bool | None] -############################################################################### -# ModelSpecifierQuery -############################################################################### - - class ModelSpecifierQuery( LMStudioStruct["ModelSpecifierQueryDict"], kw_only=True, @@ -6501,11 +5290,6 @@ class ModelSpecifierQueryDict(TypedDict): query: ModelQueryDict -############################################################################### -# DiagnosticsChannelStreamLogsToClientPacketLog -############################################################################### - - class DiagnosticsChannelStreamLogsToClientPacketLog( LMStudioStruct["DiagnosticsChannelStreamLogsToClientPacketLogDict"], kw_only=True ): @@ -6527,11 +5311,6 @@ class DiagnosticsChannelStreamLogsToClientPacketLogDict(TypedDict): EmbeddingRpcGetModelInfoReturnValue = EmbeddingModelInstanceInfo -############################################################################### -# EmbeddingChannelLoadModelToClientPacketResolved -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketResolved( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketResolvedDict"], kw_only=True, @@ -6555,11 +5334,6 @@ class EmbeddingChannelLoadModelToClientPacketResolvedDict(TypedDict): ambiguous: NotRequired[Sequence[str] | None] -############################################################################### -# EmbeddingChannelLoadModelToClientPacketSuccess -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketSuccess( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketSuccessDict"], kw_only=True, @@ -6581,11 +5355,6 @@ class EmbeddingChannelLoadModelToClientPacketSuccessDict(TypedDict): info: EmbeddingModelInstanceInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketAlreadyLoaded -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketAlreadyLoaded( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketAlreadyLoadedDict"], kw_only=True, @@ -6609,11 +5378,6 @@ class EmbeddingChannelGetOrLoadToClientPacketAlreadyLoadedDict(TypedDict): info: EmbeddingModelInstanceInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketStartLoading -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketStartLoading( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketStartLoadingDict"], kw_only=True, @@ -6639,11 +5403,6 @@ class EmbeddingChannelGetOrLoadToClientPacketStartLoadingDict(TypedDict): info: EmbeddingModelInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModel -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModel( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict"], kw_only=True, @@ -6667,11 +5426,6 @@ class EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict(TypedDic info: ModelInstanceInfo -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketLoadSuccess -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketLoadSuccess( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketLoadSuccessDict"], kw_only=True, @@ -6698,11 +5452,6 @@ class EmbeddingChannelGetOrLoadToClientPacketLoadSuccessDict(TypedDict): LlmRpcGetModelInfoReturnValue = LlmInstanceInfo -############################################################################### -# LlmChannelLoadModelToClientPacketResolved -############################################################################### - - class LlmChannelLoadModelToClientPacketResolved( LMStudioStruct["LlmChannelLoadModelToClientPacketResolvedDict"], kw_only=True, @@ -6726,11 +5475,6 @@ class LlmChannelLoadModelToClientPacketResolvedDict(TypedDict): ambiguous: NotRequired[Sequence[str] | None] -############################################################################### -# LlmChannelLoadModelToClientPacketSuccess -############################################################################### - - class LlmChannelLoadModelToClientPacketSuccess( LMStudioStruct["LlmChannelLoadModelToClientPacketSuccessDict"], kw_only=True, @@ -6752,11 +5496,6 @@ class LlmChannelLoadModelToClientPacketSuccessDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketAlreadyLoaded -############################################################################### - - class LlmChannelGetOrLoadToClientPacketAlreadyLoaded( LMStudioStruct["LlmChannelGetOrLoadToClientPacketAlreadyLoadedDict"], kw_only=True, @@ -6780,11 +5519,6 @@ class LlmChannelGetOrLoadToClientPacketAlreadyLoadedDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketStartLoading -############################################################################### - - class LlmChannelGetOrLoadToClientPacketStartLoading( LMStudioStruct["LlmChannelGetOrLoadToClientPacketStartLoadingDict"], kw_only=True, @@ -6810,11 +5544,6 @@ class LlmChannelGetOrLoadToClientPacketStartLoadingDict(TypedDict): info: LlmInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModel -############################################################################### - - class LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModel( LMStudioStruct["LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict"], kw_only=True, @@ -6838,11 +5567,6 @@ class LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict(TypedDict): info: ModelInstanceInfo -############################################################################### -# LlmChannelGetOrLoadToClientPacketLoadSuccess -############################################################################### - - class LlmChannelGetOrLoadToClientPacketLoadSuccess( LMStudioStruct["LlmChannelGetOrLoadToClientPacketLoadSuccessDict"], kw_only=True, @@ -6866,11 +5590,6 @@ class LlmChannelGetOrLoadToClientPacketLoadSuccessDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelPredictToClientPacketSuccess -############################################################################### - - class LlmChannelPredictToClientPacketSuccess( LMStudioStruct["LlmChannelPredictToClientPacketSuccessDict"], kw_only=True, @@ -6898,11 +5617,6 @@ class LlmChannelPredictToClientPacketSuccessDict(TypedDict): predictionConfig: LlmRpcGetLoadConfigReturnsDict -############################################################################### -# PluginsChannelSetGeneratorToClientPacketGenerate -############################################################################### - - class PluginsChannelSetGeneratorToClientPacketGenerate( LMStudioStruct["PluginsChannelSetGeneratorToClientPacketGenerateDict"], kw_only=True, @@ -6933,33 +5647,11 @@ class PluginsChannelSetGeneratorToClientPacketGenerateDict(TypedDict): ArtifactManifest = PluginManifest | PresetManifest | ModelManifest - - -ChatMessageData = ( - ChatMessageDataAssistant - | ChatMessageDataUser - | ChatMessageDataSystem - | ChatMessageDataTool -) -ChatMessageDataDict = ( - ChatMessageDataAssistantDict - | ChatMessageDataUserDict - | ChatMessageDataSystemDict - | ChatMessageDataToolDict +AnyChatMessage = AssistantResponse | UserMessage | SystemPrompt | ToolResultMessage +AnyChatMessageDict = ( + AssistantResponseDict | UserMessageDict | SystemPromptDict | ToolResultMessageDict ) - - -ChatMessagePartData = ( - ChatMessagePartTextData - | ChatMessagePartFileData - | ChatMessagePartToolCallRequestData - | ChatMessagePartToolCallResultData -) - - -############################################################################### -# EmbeddingLoadModelConfig -############################################################################### +ChatMessagePartData = TextData | FileHandle | ToolCallRequestData | ToolCallResultData class EmbeddingLoadModelConfig( @@ -7001,11 +5693,6 @@ class EmbeddingLoadModelConfigDict(TypedDict): ) -############################################################################### -# KvConfigFieldDependency -############################################################################### - - class KvConfigFieldDependency( LMStudioStruct["KvConfigFieldDependencyDict"], kw_only=True ): @@ -7024,11 +5711,6 @@ class KvConfigFieldDependencyDict(TypedDict): condition: KvConfigFieldDependencyCondition -############################################################################### -# LlmGenInfo -############################################################################### - - class LlmGenInfo(LMStudioStruct["LlmGenInfoDict"], kw_only=True): indexed_model_identifier: str = field(name="indexedModelIdentifier") identifier: str @@ -7054,16 +5736,9 @@ class LlmGenInfoDict(TypedDict): LlmJinjaInputMessagesContentConfig = ( LlmJinjaInputMessagesContentConfigString | LlmJinjaInputMessagesContentConfigArray ) - - LlmToolParameters = LlmToolParametersObject -############################################################################### -# ProcessingUpdateContentBlockAttachGenInfo -############################################################################### - - class ProcessingUpdateContentBlockAttachGenInfo( LMStudioStruct["ProcessingUpdateContentBlockAttachGenInfoDict"], kw_only=True, @@ -7089,11 +5764,6 @@ class ProcessingUpdateContentBlockAttachGenInfoDict(TypedDict): genInfo: LlmGenInfoDict -############################################################################### -# ProcessingUpdateStatusCreate -############################################################################### - - class ProcessingUpdateStatusCreate( LMStudioStruct["ProcessingUpdateStatusCreateDict"], kw_only=True, @@ -7123,11 +5793,6 @@ class ProcessingUpdateStatusCreateDict(TypedDict): indentation: NotRequired[int | None] -############################################################################### -# ProcessingUpdateStatusUpdate -############################################################################### - - class ProcessingUpdateStatusUpdate( LMStudioStruct["ProcessingUpdateStatusUpdateDict"], kw_only=True, @@ -7157,11 +5822,6 @@ class ProcessingUpdateStatusUpdateDict(TypedDict): ModelSpecifierDict = ModelSpecifierQueryDict | ModelSpecifierInstanceReferenceDict -############################################################################### -# ModelSearchResultEntryData -############################################################################### - - class ModelSearchResultEntryData( LMStudioStruct["ModelSearchResultEntryDataDict"], kw_only=True ): @@ -7189,11 +5849,6 @@ class ModelSearchResultEntryDataDict(TypedDict): ) -############################################################################### -# PseudoDiagnosticsChannelStreamLogs -############################################################################### - - class PseudoDiagnosticsChannelStreamLogs( LMStudioStruct["PseudoDiagnosticsChannelStreamLogsDict"], kw_only=True ): @@ -7216,11 +5871,6 @@ class PseudoDiagnosticsChannelStreamLogsDict(TypedDict): toServerPacket: DiagnosticsChannelStreamLogsToServerPacket -############################################################################### -# PseudoDiagnostics -############################################################################### - - class PseudoDiagnostics(LMStudioStruct["PseudoDiagnosticsDict"], kw_only=True): channel_stream_logs: PseudoDiagnosticsChannelStreamLogs = field( name="channelStreamLogs" @@ -7237,11 +5887,6 @@ class PseudoDiagnosticsDict(TypedDict): channelStreamLogs: PseudoDiagnosticsChannelStreamLogsDict -############################################################################### -# EmbeddingRpcGetModelInfoParameter -############################################################################### - - class EmbeddingRpcGetModelInfoParameter( LMStudioStruct["EmbeddingRpcGetModelInfoParameterDict"], kw_only=True ): @@ -7263,11 +5908,6 @@ class EmbeddingRpcGetModelInfoParameterDict(TypedDict): EmbeddingRpcGetModelInfoReturns = EmbeddingRpcGetModelInfoReturnValue | None -############################################################################### -# PseudoEmbeddingRpcGetModelInfo -############################################################################### - - class PseudoEmbeddingRpcGetModelInfo( LMStudioStruct["PseudoEmbeddingRpcGetModelInfoDict"], kw_only=True ): @@ -7286,11 +5926,6 @@ class PseudoEmbeddingRpcGetModelInfoDict(TypedDict): returns: NotRequired[EmbeddingRpcGetModelInfoReturns | None] -############################################################################### -# EmbeddingRpcGetLoadConfigParameter -############################################################################### - - class EmbeddingRpcGetLoadConfigParameter( LMStudioStruct["EmbeddingRpcGetLoadConfigParameterDict"], kw_only=True ): @@ -7307,11 +5942,6 @@ class EmbeddingRpcGetLoadConfigParameterDict(TypedDict): specifier: ModelSpecifierDict -############################################################################### -# PseudoEmbeddingRpcGetLoadConfig -############################################################################### - - class PseudoEmbeddingRpcGetLoadConfig( LMStudioStruct["PseudoEmbeddingRpcGetLoadConfigDict"], kw_only=True ): @@ -7330,11 +5960,6 @@ class PseudoEmbeddingRpcGetLoadConfigDict(TypedDict): returns: EmbeddingRpcGetLoadConfigReturnsDict -############################################################################### -# EmbeddingRpcEmbedStringParameter -############################################################################### - - class EmbeddingRpcEmbedStringParameter( LMStudioStruct["EmbeddingRpcEmbedStringParameterDict"], kw_only=True ): @@ -7353,11 +5978,6 @@ class EmbeddingRpcEmbedStringParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcEmbedString -############################################################################### - - class PseudoEmbeddingRpcEmbedString( LMStudioStruct["PseudoEmbeddingRpcEmbedStringDict"], kw_only=True ): @@ -7376,11 +5996,6 @@ class PseudoEmbeddingRpcEmbedStringDict(TypedDict): returns: EmbeddingRpcEmbedStringReturnsDict -############################################################################### -# EmbeddingRpcTokenizeParameter -############################################################################### - - class EmbeddingRpcTokenizeParameter( LMStudioStruct["EmbeddingRpcTokenizeParameterDict"], kw_only=True ): @@ -7399,11 +6014,6 @@ class EmbeddingRpcTokenizeParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcTokenize -############################################################################### - - class PseudoEmbeddingRpcTokenize( LMStudioStruct["PseudoEmbeddingRpcTokenizeDict"], kw_only=True ): @@ -7422,11 +6032,6 @@ class PseudoEmbeddingRpcTokenizeDict(TypedDict): returns: EmbeddingRpcTokenizeReturnsDict -############################################################################### -# EmbeddingRpcCountTokensParameter -############################################################################### - - class EmbeddingRpcCountTokensParameter( LMStudioStruct["EmbeddingRpcCountTokensParameterDict"], kw_only=True ): @@ -7445,11 +6050,6 @@ class EmbeddingRpcCountTokensParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcCountTokens -############################################################################### - - class PseudoEmbeddingRpcCountTokens( LMStudioStruct["PseudoEmbeddingRpcCountTokensDict"], kw_only=True ): @@ -7475,11 +6075,6 @@ class PseudoEmbeddingRpcCountTokensDict(TypedDict): ) -############################################################################### -# PseudoEmbeddingChannelLoadModel -############################################################################### - - class PseudoEmbeddingChannelLoadModel( LMStudioStruct["PseudoEmbeddingChannelLoadModelDict"], kw_only=True ): @@ -7515,11 +6110,6 @@ class PseudoEmbeddingChannelLoadModelDict(TypedDict): ) -############################################################################### -# PseudoEmbeddingChannelGetOrLoad -############################################################################### - - class PseudoEmbeddingChannelGetOrLoad( LMStudioStruct["PseudoEmbeddingChannelGetOrLoadDict"], kw_only=True ): @@ -7546,11 +6136,6 @@ class PseudoEmbeddingChannelGetOrLoadDict(TypedDict): toServerPacket: EmbeddingChannelGetOrLoadToServerPacket -############################################################################### -# PseudoEmbedding -############################################################################### - - class PseudoEmbedding(LMStudioStruct["PseudoEmbeddingDict"], kw_only=True): rpc_unload_model: PseudoEmbeddingRpcUnloadModel = field(name="rpcUnloadModel") rpc_list_loaded: PseudoEmbeddingRpcListLoaded = field(name="rpcListLoaded") @@ -7585,11 +6170,6 @@ class PseudoEmbeddingDict(TypedDict): channelGetOrLoad: PseudoEmbeddingChannelGetOrLoadDict -############################################################################### -# LlmRpcGetModelInfoParameter -############################################################################### - - class LlmRpcGetModelInfoParameter( LMStudioStruct["LlmRpcGetModelInfoParameterDict"], kw_only=True ): @@ -7611,11 +6191,6 @@ class LlmRpcGetModelInfoParameterDict(TypedDict): LlmRpcGetModelInfoReturns = LlmRpcGetModelInfoReturnValue | None -############################################################################### -# PseudoLlmRpcGetModelInfo -############################################################################### - - class PseudoLlmRpcGetModelInfo( LMStudioStruct["PseudoLlmRpcGetModelInfoDict"], kw_only=True ): @@ -7634,11 +6209,6 @@ class PseudoLlmRpcGetModelInfoDict(TypedDict): returns: NotRequired[LlmRpcGetModelInfoReturns | None] -############################################################################### -# LlmRpcGetLoadConfigParameter -############################################################################### - - class LlmRpcGetLoadConfigParameter( LMStudioStruct["LlmRpcGetLoadConfigParameterDict"], kw_only=True ): @@ -7655,11 +6225,6 @@ class LlmRpcGetLoadConfigParameterDict(TypedDict): specifier: ModelSpecifierDict -############################################################################### -# PseudoLlmRpcGetLoadConfig -############################################################################### - - class PseudoLlmRpcGetLoadConfig( LMStudioStruct["PseudoLlmRpcGetLoadConfigDict"], kw_only=True ): @@ -7678,11 +6243,6 @@ class PseudoLlmRpcGetLoadConfigDict(TypedDict): returns: LlmRpcGetLoadConfigReturnsDict -############################################################################### -# LlmRpcTokenizeParameter -############################################################################### - - class LlmRpcTokenizeParameter( LMStudioStruct["LlmRpcTokenizeParameterDict"], kw_only=True ): @@ -7701,11 +6261,6 @@ class LlmRpcTokenizeParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoLlmRpcTokenize -############################################################################### - - class PseudoLlmRpcTokenize(LMStudioStruct["PseudoLlmRpcTokenizeDict"], kw_only=True): parameter: LlmRpcTokenizeParameter returns: LlmRpcTokenizeReturns @@ -7722,11 +6277,6 @@ class PseudoLlmRpcTokenizeDict(TypedDict): returns: LlmRpcTokenizeReturnsDict -############################################################################### -# LlmRpcCountTokensParameter -############################################################################### - - class LlmRpcCountTokensParameter( LMStudioStruct["LlmRpcCountTokensParameterDict"], kw_only=True ): @@ -7745,11 +6295,6 @@ class LlmRpcCountTokensParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoLlmRpcCountTokens -############################################################################### - - class PseudoLlmRpcCountTokens( LMStudioStruct["PseudoLlmRpcCountTokensDict"], kw_only=True ): @@ -7768,11 +6313,6 @@ class PseudoLlmRpcCountTokensDict(TypedDict): returns: LlmRpcCountTokensReturnsDict -############################################################################### -# LlmRpcPreloadDraftModelParameter -############################################################################### - - class LlmRpcPreloadDraftModelParameter( LMStudioStruct["LlmRpcPreloadDraftModelParameterDict"], kw_only=True ): @@ -7791,11 +6331,6 @@ class LlmRpcPreloadDraftModelParameterDict(TypedDict): draftModelKey: str -############################################################################### -# PseudoLlmRpcPreloadDraftModel -############################################################################### - - class PseudoLlmRpcPreloadDraftModel( LMStudioStruct["PseudoLlmRpcPreloadDraftModelDict"], kw_only=True ): @@ -7819,11 +6354,6 @@ class PseudoLlmRpcPreloadDraftModelDict(TypedDict): ) -############################################################################### -# PseudoLlmChannelLoadModel -############################################################################### - - class PseudoLlmChannelLoadModel( LMStudioStruct["PseudoLlmChannelLoadModelDict"], kw_only=True ): @@ -7855,11 +6385,6 @@ class PseudoLlmChannelLoadModelDict(TypedDict): ) -############################################################################### -# PseudoLlmChannelGetOrLoad -############################################################################### - - class PseudoLlmChannelGetOrLoad( LMStudioStruct["PseudoLlmChannelGetOrLoadDict"], kw_only=True ): @@ -7890,19 +6415,12 @@ class PseudoLlmChannelGetOrLoadDict(TypedDict): | LlmChannelPredictToClientPacketToolCallGenerationFailed | LlmChannelPredictToClientPacketSuccess ) - - PluginsChannelSetGeneratorToClientPacket = ( PluginsChannelSetGeneratorToClientPacketGenerate | PluginsChannelSetGeneratorToClientPacketAbort ) -############################################################################### -# PseudoPluginsChannelSetGenerator -############################################################################### - - class PseudoPluginsChannelSetGenerator( LMStudioStruct["PseudoPluginsChannelSetGeneratorDict"], kw_only=True ): @@ -7925,11 +6443,6 @@ class PseudoPluginsChannelSetGeneratorDict(TypedDict): toServerPacket: PluginsChannelSetGeneratorToServerPacket -############################################################################### -# RepositoryRpcSearchModelsReturns -############################################################################### - - class RepositoryRpcSearchModelsReturns( LMStudioStruct["RepositoryRpcSearchModelsReturnsDict"], kw_only=True ): @@ -7946,11 +6459,6 @@ class RepositoryRpcSearchModelsReturnsDict(TypedDict): results: Sequence[ModelSearchResultEntryDataDict] -############################################################################### -# PseudoRepositoryRpcSearchModels -############################################################################### - - class PseudoRepositoryRpcSearchModels( LMStudioStruct["PseudoRepositoryRpcSearchModelsDict"], kw_only=True ): @@ -7969,11 +6477,6 @@ class PseudoRepositoryRpcSearchModelsDict(TypedDict): returns: RepositoryRpcSearchModelsReturnsDict -############################################################################### -# PseudoRepository -############################################################################### - - class PseudoRepository(LMStudioStruct["PseudoRepositoryDict"], kw_only=True): rpc_search_models: PseudoRepositoryRpcSearchModels = field(name="rpcSearchModels") rpc_get_model_download_options: PseudoRepositoryRpcGetModelDownloadOptions = field( @@ -8012,11 +6515,6 @@ class PseudoRepositoryDict(TypedDict): channelEnsureAuthenticated: PseudoRepositoryChannelEnsureAuthenticatedDict -############################################################################### -# Function -############################################################################### - - class Function(LMStudioStruct["FunctionDict"], kw_only=True): name: str description: str | None = None @@ -8035,11 +6533,6 @@ class FunctionDict(TypedDict): parameters: NotRequired[LlmToolParametersObjectDict | None] -############################################################################### -# LlmToolFunction -############################################################################### - - class LlmToolFunction(LMStudioStruct["LlmToolFunctionDict"], kw_only=True): type: Annotated[Literal["function"], Meta(title="Type")] function: Function @@ -8056,11 +6549,6 @@ class LlmToolFunctionDict(TypedDict): function: FunctionDict -############################################################################### -# PluginsChannelSetPreprocessorToClientPacketPreprocess -############################################################################### - - class PluginsChannelSetPreprocessorToClientPacketPreprocess( LMStudioStruct["PluginsChannelSetPreprocessorToClientPacketPreprocessDict"], kw_only=True, @@ -8069,7 +6557,7 @@ class PluginsChannelSetPreprocessorToClientPacketPreprocess( ): type: ClassVar[Annotated[Literal["preprocess"], Meta(title="Type")]] = "preprocess" task_id: str = field(name="taskId") - input: ChatMessageData + input: AnyChatMessage config: LlmRpcGetLoadConfigReturns plugin_config: LlmRpcGetLoadConfigReturns = field(name="pluginConfig") pci: str @@ -8085,18 +6573,13 @@ class PluginsChannelSetPreprocessorToClientPacketPreprocessDict(TypedDict): type: Literal["preprocess"] taskId: str - input: ChatMessageDataDict + input: AnyChatMessageDict config: LlmRpcGetLoadConfigReturnsDict pluginConfig: LlmRpcGetLoadConfigReturnsDict pci: str token: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketComplete -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketComplete( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketCompleteDict"], kw_only=True, @@ -8105,7 +6588,7 @@ class PluginsChannelSetPreprocessorToServerPacketComplete( ): type: ClassVar[Annotated[Literal["complete"], Meta(title="Type")]] = "complete" task_id: str = field(name="taskId") - processed: ChatMessageData + processed: AnyChatMessage class PluginsChannelSetPreprocessorToServerPacketCompleteDict(TypedDict): @@ -8117,19 +6600,14 @@ class PluginsChannelSetPreprocessorToServerPacketCompleteDict(TypedDict): type: Literal["complete"] taskId: str - processed: ChatMessageDataDict - - -Messages = Sequence[ChatMessageData] + processed: AnyChatMessageDict -############################################################################### -# ChatHistoryData -############################################################################### +Messages = Sequence[AnyChatMessage] class ChatHistoryData(LMStudioStruct["ChatHistoryDataDict"], kw_only=True): - messages: Sequence[ChatMessageData] + messages: Sequence[AnyChatMessage] class ChatHistoryDataDict(TypedDict): @@ -8139,12 +6617,7 @@ class ChatHistoryDataDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - messages: Sequence[ChatMessageDataDict] - - -############################################################################### -# LlmJinjaInputMessagesConfig -############################################################################### + messages: Sequence[AnyChatMessageDict] class LlmJinjaInputMessagesConfig( @@ -8164,8 +6637,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): LlmTool = LlmToolFunction - - GeneratorUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8179,8 +6650,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): | ProcessingUpdateContentBlockSetStyle | ProcessingUpdateSetSenderName ) - - PreprocessorUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8188,8 +6657,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): | ProcessingUpdateCitationBlockCreate | ProcessingUpdateDebugInfoBlockCreate ) - - ProcessingUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8207,11 +6674,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): ) -############################################################################### -# LlmRpcApplyPromptTemplateParameter -############################################################################### - - class LlmRpcApplyPromptTemplateParameter( LMStudioStruct["LlmRpcApplyPromptTemplateParameterDict"], kw_only=True ): @@ -8234,11 +6696,6 @@ class LlmRpcApplyPromptTemplateParameterDict(TypedDict): opts: LlmApplyPromptTemplateOptsDict -############################################################################### -# PseudoLlmRpcApplyPromptTemplate -############################################################################### - - class PseudoLlmRpcApplyPromptTemplate( LMStudioStruct["PseudoLlmRpcApplyPromptTemplateDict"], kw_only=True ): @@ -8257,13 +6714,8 @@ class PseudoLlmRpcApplyPromptTemplateDict(TypedDict): returns: LlmRpcApplyPromptTemplateReturnsDict -############################################################################### -# LlmChannelPredictCreationParameter -############################################################################### - - -class LlmChannelPredictCreationParameter( - LMStudioStruct["LlmChannelPredictCreationParameterDict"], kw_only=True +class PredictionChannelRequest( + LMStudioStruct["PredictionChannelRequestDict"], kw_only=True ): model_specifier: ModelSpecifier = field(name="modelSpecifier") history: ChatHistoryData @@ -8276,7 +6728,7 @@ class LlmChannelPredictCreationParameter( ) -class LlmChannelPredictCreationParameterDict(TypedDict): +class PredictionChannelRequestDict(TypedDict): """Corresponding typed dictionary definition for LlmChannelPredictCreationParameter. NOTE: Multi-word keys are defined using their camelCase form, @@ -8290,17 +6742,10 @@ class LlmChannelPredictCreationParameterDict(TypedDict): ignoreServerSessionConfig: NotRequired[bool | None] -############################################################################### -# PseudoLlmChannelPredict -############################################################################### - - class PseudoLlmChannelPredict( LMStudioStruct["PseudoLlmChannelPredictDict"], kw_only=True ): - creation_parameter: LlmChannelPredictCreationParameter = field( - name="creationParameter" - ) + creation_parameter: PredictionChannelRequest = field(name="creationParameter") to_client_packet: LlmChannelPredictToClientPacket = field(name="toClientPacket") to_server_packet: LlmChannelPredictToServerPacket = field(name="toServerPacket") @@ -8312,16 +6757,11 @@ class PseudoLlmChannelPredictDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - creationParameter: LlmChannelPredictCreationParameterDict + creationParameter: PredictionChannelRequestDict toClientPacket: LlmChannelPredictToClientPacket toServerPacket: LlmChannelPredictToServerPacket -############################################################################### -# PseudoLlm -############################################################################### - - class PseudoLlm(LMStudioStruct["PseudoLlmDict"], kw_only=True): rpc_unload_model: PseudoLlmRpcUnloadModel = field(name="rpcUnloadModel") rpc_list_loaded: PseudoLlmRpcListLoaded = field(name="rpcListLoaded") @@ -8360,11 +6800,6 @@ class PseudoLlmDict(TypedDict): channelPredict: PseudoLlmChannelPredictDict -############################################################################### -# PluginsRpcProcessingHandleUpdateParameter -############################################################################### - - class PluginsRpcProcessingHandleUpdateParameter( LMStudioStruct["PluginsRpcProcessingHandleUpdateParameterDict"], kw_only=True ): @@ -8385,11 +6820,6 @@ class PluginsRpcProcessingHandleUpdateParameterDict(TypedDict): update: ProcessingUpdate -############################################################################### -# PseudoPluginsRpcProcessingHandleUpdate -############################################################################### - - class PseudoPluginsRpcProcessingHandleUpdate( LMStudioStruct["PseudoPluginsRpcProcessingHandleUpdateDict"], kw_only=True ): @@ -8406,11 +6836,6 @@ class PseudoPluginsRpcProcessingHandleUpdateDict(TypedDict): parameter: PluginsRpcProcessingHandleUpdateParameterDict -############################################################################### -# PluginsRpcProcessingPullHistoryReturns -############################################################################### - - class PluginsRpcProcessingPullHistoryReturns( LMStudioStruct["PluginsRpcProcessingPullHistoryReturnsDict"], kw_only=True ): @@ -8427,11 +6852,6 @@ class PluginsRpcProcessingPullHistoryReturnsDict(TypedDict): messages: Messages -############################################################################### -# PseudoPluginsRpcProcessingPullHistory -############################################################################### - - class PseudoPluginsRpcProcessingPullHistory( LMStudioStruct["PseudoPluginsRpcProcessingPullHistoryDict"], kw_only=True ): @@ -8454,8 +6874,6 @@ class PseudoPluginsRpcProcessingPullHistoryDict(TypedDict): PluginsChannelSetPreprocessorToClientPacketPreprocess | PluginsChannelSetPreprocessorToClientPacketAbort ) - - PluginsChannelSetPreprocessorToServerPacket = ( PluginsChannelSetPreprocessorToServerPacketComplete | PluginsChannelSetPreprocessorToServerPacketAborted @@ -8463,11 +6881,6 @@ class PseudoPluginsRpcProcessingPullHistoryDict(TypedDict): ) -############################################################################### -# PseudoPluginsChannelSetPreprocessor -############################################################################### - - class PseudoPluginsChannelSetPreprocessor( LMStudioStruct["PseudoPluginsChannelSetPreprocessorDict"], kw_only=True ): @@ -8490,11 +6903,6 @@ class PseudoPluginsChannelSetPreprocessorDict(TypedDict): toServerPacket: PluginsChannelSetPreprocessorToServerPacket -############################################################################### -# PseudoPlugins -############################################################################### - - class PseudoPlugins(LMStudioStruct["PseudoPluginsDict"], kw_only=True): rpc_reindex_plugins: PseudoPluginsRpcReindexPlugins = field( name="rpcReindexPlugins" @@ -8559,11 +6967,6 @@ class PseudoPluginsDict(TypedDict): channelSetGenerator: PseudoPluginsChannelSetGeneratorDict -############################################################################### -# LlmToolUseSettingToolArray -############################################################################### - - class LlmToolUseSettingToolArray( LMStudioStruct["LlmToolUseSettingToolArrayDict"], kw_only=True, @@ -8585,11 +6988,6 @@ class LlmToolUseSettingToolArrayDict(TypedDict): tools: NotRequired[Sequence[LlmToolFunctionDict] | None] -############################################################################### -# Model -############################################################################### - - class Model(LMStudioStruct["ModelDict"], kw_only=True): diagnostics: PseudoDiagnostics embedding: PseudoEmbedding @@ -8616,11 +7014,6 @@ class ModelDict(TypedDict): system: PseudoSystemDict -############################################################################### -# LlmJinjaInputConfig -############################################################################### - - class LlmJinjaInputConfig(LMStudioStruct["LlmJinjaInputConfigDict"], kw_only=True): messages_config: LlmJinjaInputMessagesConfig = field(name="messagesConfig") use_tools: bool = field(name="useTools") @@ -8637,11 +7030,6 @@ class LlmJinjaInputConfigDict(TypedDict): useTools: bool -############################################################################### -# LlmJinjaPromptTemplate -############################################################################### - - class LlmJinjaPromptTemplate( LMStudioStruct["LlmJinjaPromptTemplateDict"], kw_only=True ): @@ -8664,11 +7052,6 @@ class LlmJinjaPromptTemplateDict(TypedDict): inputConfig: LlmJinjaInputConfigDict -############################################################################### -# LlmPromptTemplate -############################################################################### - - class LlmPromptTemplate(LMStudioStruct["LlmPromptTemplateDict"], kw_only=True): type: LlmPromptTemplateType stop_strings: Sequence[str] = field(name="stopStrings") @@ -8694,23 +7077,12 @@ class LlmPromptTemplateDict(TypedDict): LlmToolArray = Sequence[LlmTool] - - LlmToolUseSetting = LlmToolUseSettingNone | LlmToolUseSettingToolArray LlmToolUseSettingDict = LlmToolUseSettingNoneDict | LlmToolUseSettingToolArrayDict - - PromptTemplate = LlmPromptTemplate - - RawTools = LlmToolUseSetting -############################################################################### -# LlmPredictionConfigInput -############################################################################### - - class LlmPredictionConfigInput( LMStudioStruct["LlmPredictionConfigInputDict"], kw_only=True ): @@ -8781,11 +7153,6 @@ class LlmPredictionConfigInputDict(TypedDict): reasoningParsing: NotRequired[LlmReasoningParsingDict | None] -############################################################################### -# LlmPredictionConfig -############################################################################### - - class LlmPredictionConfig(LMStudioStruct["LlmPredictionConfigDict"], kw_only=True): max_tokens: MaxTokensModel | None = field(name="maxTokens", default=None) temperature: Temperature | None = None diff --git a/src/lmstudio/history.py b/src/lmstudio/history.py index d4ccc8a..8445c2d 100644 --- a/src/lmstudio/history.py +++ b/src/lmstudio/history.py @@ -39,26 +39,26 @@ ) from .schemas import DictObject, LMStudioStruct, _format_json from ._sdk_models import ( + AnyChatMessage, + AnyChatMessageDict, + AssistantResponse, ChatHistoryData, ChatHistoryDataDict, - ChatMessageData as AnyChatMessage, - ChatMessageDataDict as AnyChatMessageDict, - ChatMessageDataUser as UserMessage, - ChatMessageDataSystem as SystemPrompt, - ChatMessageDataAssistant as AssistantResponse, - ChatMessageDataTool as ToolResultMessage, - ChatMessagePartFileData as FileHandle, - ChatMessagePartFileDataDict as FileHandleDict, - ChatMessagePartTextData as TextData, - ChatMessagePartTextDataDict as TextDataDict, - ChatMessagePartToolCallRequestData as ToolCallRequestData, - ChatMessagePartToolCallRequestDataDict as ToolCallRequestDataDict, - ChatMessagePartToolCallResultData as ToolCallResultData, - ChatMessagePartToolCallResultDataDict as ToolCallResultDataDict, + FileHandle, + FileHandleDict, FilesRpcUploadFileBase64Parameter, FileType, - ToolCallRequest as ToolCallRequest, - FunctionToolCallRequestDict as ToolCallRequestDict, + SystemPrompt, + TextData, + TextDataDict, + ToolCallRequest, + ToolCallRequestData, + ToolCallRequestDataDict, + ToolCallRequestDict, + ToolCallResultData, + ToolCallResultDataDict, + ToolResultMessage, + UserMessage, ) __all__ = [ diff --git a/src/lmstudio/json_api.py b/src/lmstudio/json_api.py index f5d8d28..3235258 100644 --- a/src/lmstudio/json_api.py +++ b/src/lmstudio/json_api.py @@ -64,6 +64,8 @@ prediction_config_to_kv_config_stack, ) from ._sdk_models import ( + DownloadModelChannelRequest, + DownloadModelChannelRequestDict, DownloadProgressUpdate, EmbeddingChannelLoadModelCreationParameter, EmbeddingChannelLoadModelCreationParameterDict, @@ -82,8 +84,6 @@ LlmChannelLoadModelCreationParameterDict, LlmChannelGetOrLoadCreationParameter, LlmChannelGetOrLoadCreationParameterDict, - LlmChannelPredictCreationParameter as PredictionChannelRequest, - LlmChannelPredictCreationParameterDict as PredictionChannelRequestDict, LlmInfo, LlmInstanceInfo, LlmLoadModelConfig, @@ -98,23 +98,23 @@ LlmRpcUnloadModelParameter, LlmTool, LlmToolUseSettingToolArray, + ModelCompatibilityType, ModelInfo, ModelInstanceInfo, ModelSearchOptsDict, + ModelSearchResultDownloadOptionData, + ModelSearchResultEntryData, ModelSpecifier, ModelSpecifierDict, ModelSpecifierInstanceReference, ModelSpecifierQuery, ModelQuery, ModelQueryDict, - RepositoryChannelDownloadModelCreationParameter as DownloadModelChannelRequest, - RepositoryChannelDownloadModelCreationParameterDict as DownloadModelChannelRequestDict, - SerializedLMSExtendedError, - ModelCompatibilityType, - ModelSearchResultDownloadOptionData, - ModelSearchResultEntryData, + PredictionChannelRequest, + PredictionChannelRequestDict, RepositoryRpcGetModelDownloadOptionsParameter, RepositoryRpcSearchModelsParameter, + SerializedLMSExtendedError, ) from ._logging import get_logger, LogEventContext, StructuredLogger