llama

1热度

7回答

[THUDM/ChatGLM-6B][Feature] 如何贡献GPTQ相关的代码以及模型

Hi，我目前已经用GPTQ对ChatGLM-6B做了8/4bit的量化，量化后的模型依旧能够流畅对话。想问一下如果如果贡献这部分内容的话，该怎么操作。我想了一些可能的形式哈： 直接贡献GPTQ calibrated 的模型参数，并适配ChatGLM的推理流程。 我对GPTQ做了一定的工具化，可以把这部分内容直接直接贡献到.quantize接口里来 上面两种方法背后都还有一些待讨论的点，例如GP

chatglm llama openai 2024-06-12

---

1热度

1回答

[2noise/ChatTTS]没报错，跑起来后，程序直接停止了，不跑了

代码如下： import torch import ChatTTS from IPython.display import Audio 初始化ChatTTS chat = ChatTTS.Chat() chat.load_models() 定义要转换为语音的文本 texts = ["你好，欢迎使用ChatTTS！"] 生成语音 wavs = chat.infer(texts, use_decode

chattts llama Python 2024-06-12

---

0热度

7回答

[ggerganov/llama.cpp]构建 C 对象 CMakeFiles/ggml.dir/ggml.co 失败

我输入： git clone https://github.com/ggerganov/llama.cpp cd llama.cpp mkdir build cd build cmake .. -DLLAMA_CUBLAS=ON cmake --build 。--config 发布 失败于：[ 2%] 构建 C 对象 CMakeFiles/ggml.dir/ggml.co 错误显示：调用“alw

CUDA ggml llama 2024-03-22

---

9热度

11回答

[ggerganov/llama.cpp]控制台：修复 LC_ALL 未定义时 getwchar 失败

修复#3638 似乎某些 Linux 发行版可能LC_ALL未定义并被LANG使用，这会导致getwchar()unicode 转换失败，但更重要的是，这会“毒害” stdin( /dev/tty) 导致任何后续无限期getwchar返回WEOF。 此 PR 通过添加一个回退设置区域设置来解决此问题，LANG如果该区域设置也未定义，则将区域设置设置为C.UTF-8确保 IO 处于 unicode

gguf ggml llama 2024-03-22

---

1热度

5回答

[ggerganov/llama.cpp]服务器可执行文件在空闲时不应消耗 cpu/gpu 功率。

当我运行服务器可执行文件时，它不断地将我的 GPU 保持在 50W 功耗，同时没有提示正在处理。当我在交互式终端模式下运行 llama 可执行文件时，不会出现此问题。在几代之间，当 llama 等待新输入时，GPU 可以休息并放松（闲置功耗约为 11W 左右）。为什么服务器可执行文件使 GPU（或 cpu，无论您使用什么）占用这么多？我确信这是没有必要的

llama Nvidia ggml CUDA 2024-03-22

---

10热度

8回答

[ggerganov/llama.cpp]修复非特殊添加令牌的去令牌化

检查过 .\build\bin\Release\main.exe -m models\mpt-7B-storywriter\ggml-model-f16.gguf -p "Once upon a time there" --temp 0 -n 32 前： Once upon a timethere 后： Once upon a time there clang还修复了on的构建问题Window

ggml gguf llama Python 2024-03-22

---

1热度

8回答

[ggerganov/llama.cpp]log.h：使生成单独的日志文件成为可选。

（https://github.com/ggerganov/llama.cpp/commit/cc448774866e6479c750bd7c135cd8f92cedee67#commitcomment-130881609） 添加--log-new（指定后）将恢复为file.ID.log每次运行创建单独日志文件的原始行为。添加--log-append（指定时）以附加模式打开日志文件。

llama C++ 2024-03-22

---

9热度

7回答

[ggerganov/llama.cpp]在 M2 Mac 上使用简单自引用语法时出现段错误

嘿伙计们，首先非常感谢这个令人惊叹的项目，特别是语法支持 - 老实说感觉就像魔法<3 我受到@ggerganov 转发的这条推文的启发，尝试将树保姆语法转换为 GBNF 形式。经过一些小问题后，我有一个脚本创建了可以由 llama.cpp 解析的语法，但不幸的是我现在遇到了分段错误。 我将其与这个简单的示例语法隔离： root ::= expression expression ::= (

gguf llama 2024-03-22

---

8热度

3回答

[huggingface/transformers]CodeLLama 使用 flash_attention_2 生成截然不同的输出

系统信息 transformers版本：4.35.0.dev0 平台：Linux-4.18.0-477.10.1.el8_8.x86_64-x86_64-with-glibc2.28 Python版本：3.9.7 Huggingface_hub版本：0.16.4 Safetensors 版本：0.3.1 加速版本：0.23.0 加速配置： 计算环境：LOCAL_MACHINE 分布式

Deep learning Python PyTorch llama 2024-02-19

---

2热度

5回答

[openai/openai-cookbook]添加 liteLLM 示例 - 使用 chatGPT 输入/输出调用 Azure、Anthropic、Llama2、Cohere、50 多个 LLM API

此 PR 添加了使用 liteLLM 的示例笔记本：https ://github.com/BerriAI/litellm/ liteLLM 是一个用于简化调用 OpenAI、Azure、Cohere、Anthropic、Huggingface API 端点的包 TLDR：使用 chatGPT 输入/输出格式调用所有 LLM API 下面是它的使用示例： from litellm import c

gpt llama openai 2024-02-05

---