找不同 网站开发无锡招标网官方网站

找不同 网站开发,无锡招标网官方网站,弄个小程序要多少钱,wordpress 图片收录软在其 2025 Build 大会上发布了 Foundry Local#xff0c;能够在本地设备上执行 AI 推理#xff0c;意味着可以利用本地的 AI 算力#xff0c;如#xff1a;CPU/GPU/NPU#xff1b;也让用户在隐私方面得到了充足的保障#xff0c;还能有改善成本效益#xff01;Foundry…软在其 2025 Build 大会上发布了 Foundry Local能够在本地设备上执行 AI 推理意味着可以利用本地的 AI 算力如CPU/GPU/NPU也让用户在隐私方面得到了充足的保障还能有改善成本效益Foundry Local 默认除了支持 CLI外还支持 SDK、REST API 和 Catalog API用户可以自行基于 Foundry Local 进行开发。在未来 Foundry Local 还将内置对 Agent/MCP 的支持。Foundry Local 还支持跨平台除了能够运行在Windows 11 上还能够运行在 macOS。由于需要本地存储和运行模型请确保有足够的算力和存储Foundry Local 支持硬件加速NVIDIA GPU2000系列或更高版本、AMD GPU6000系列或更高、Intel iGPU、Intel NPU32GB或更多内存、高通 Snapdragon X Elite8GB或更多内存、高通 NPU以及 Apple 系列。要在本地以 Foundry Local 运行 AI 模型首先需要安装 Foundry Local。Windowswinget install Microsoft.FoundryLocalmacOSbrew tap microsoft/foundrylocalbrew install foundrylocal运行模型只需要执行foundry model run model在 Foundry Local 上可运行的模型有很多可使用以下命令查看foundry model list还可以加载 --filter 参数对显示列表进行筛选。其他有用的参数还有foundry model info model 显示有关特定模型的详细信息foundry model download model 在不运行模型的情况下只下载模型到本地缓存foundry model load model 将模型加载到服务中foundry model unload model 从服务中卸载模要查看本地已经下载缓存的模型可执行foundry cache listimage要检查 Foundry Local 服务状态可执行foundry service statusimageFoundry Local CLI 详细使用可参考Foundry Local 文档。Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust也可以使用 REST API 去调用 Foundry Local Service。这是一个用于演示或本地实验的示例项目可能展示如何在本地环境中使用或集成“Foundry”相关功能。核心代码在https://github.com/andrewleader/FoundryLocalLabDemo/blob/main/FoundryLocalLabDemo/ExecutionLogic.cs封装 FoundryLocalManager提供基础模型管理• StartServiceAsync启动本地 Foundry 服务• ListCatalogModelsAsync / ListCachedModelsAsync列出目录/本地缓存模型• DownloadModelAsync按进度流式下载模型IAsyncEnumerableModelDownloadProgress• LoadModelAsync / UnloadModelAsync加载/卸载模型基于选定模型进行流式解析用户文本为结构化对象• ParseStudentProfileStreamingAsync• 通过 OpenAIClient Microsoft.Extensions.AI 创建聊天客户端使用 FoundryLocalManager 提供的 Endpoint 和 ApiKey• 构造一个包含字符串枚举的 JSON Schema要求模型仅输出 JSON• 发送提示词并以流式方式接收回复边接收边通过 IAsyncEnumerableStudentProfileUpdate 返回中间文本增量• 收集完整回复后去除可能的 think 标签和 json 代码块围栏处理嵌套对象再用 Json.NET含 StringEnumConverter反序列化为 StudentProfile• 最后返回一次包含解析好的 StudentProfile 的更新image