C++

0热度

5回答

[ggerganov/llama.cpp]添加对oai python服务器中函数调用的基本支持

我想尝试使用 oai python 服务器来运行magentic。要正常工作，需要实现用于函数调用的 oai api。函数调用允许 LLM 使用函数调用而不是仅使用文本消息进行响应。会自动生成语法，通过提供的函数 json 方案来约束 LLM 响应。当客户端回复函数结果时，它们将包含在聊天提示中。磁性用法示例： > server -m open-llama-7b-v2-q8_0.gguf

4热度

17回答

[ggerganov/llama.cpp]简单的转换脚本在 Linux 上耗尽了 tmpfs 空间

默认情况下，Linux 会阻止 tmpfs 使用超过 50% 的可用系统内存。这通常是一件好事，但简单的转换脚本会在保存输出文件之前将所有张量数据写入 tmpfs，如果转换后的模型大于系统 RAM 的 50%（ref），则会导致此异常： Traceback (most recent call last): File "/home/cebtenzzre/src/forks/llama.cpp/c

4热度

5回答

[ggerganov/llama.cpp]iOS swift 包似乎使用了 NEWLAPACK 的内部符号：cblas_sgemm，导致使用此符号的应用程序无法发布到 App Store

构建链接到 swift 包 llama.cpp 的应用程序在发布到应用商店时在应用程序验证阶段会出现错误。特别是，它给出的错误说app references non-public symbol cblas_sgemm$NEWLAPACK$ILP64

10热度

16回答

[ggerganov/llama.cpp][用户] 实现 Streaming LLM - 让推理更高效

先决条件上下文长度限制是所有 LLM 都存在的问题。以下存储库和相关论文表明，保留 4 个初始标记将使大多数常见 LLM 上的上下文长度无限大，而不会牺牲性能或效率。代码：https://github.com/mit-han-lab/streaming-llm 存储库内的论文参考资料展示了 LLM 的注意力集中效应以及如何利用它。当前行为上下文长度的限制主要由预训练定义。其他方法（如 ro

6热度

12回答

[ocornut/imgui]ImGui 设置 glfw 窗口位置时出错

我在这一行收到错误：这是我的代码： IMGUI_CHECKVERSION(); ImGui::CreateContext(); ImGuiIO& io = ImGui::GetIO(); (void)io; io.ConfigFlags |= ImGuiConfigFlags_NavEnableKeyboard; io.C

5热度

8回答

[ggerganov/llama.cpp]log.h：使生成单独的日志文件成为可选。

（https://github.com/ggerganov/llama.cpp/commit/cc448774866e6479c750bd7c135cd8f92cedee67#commitcomment-130881609）添加--log-new（指定后）将恢复为file.ID.log每次运行创建单独日志文件的原始行为。添加--log-append（指定时）以附加模式打开日志文件。