ABSoft

最新提问

0热度

5回答

[ggerganov/llama.cpp]iOS swift 包似乎使用了 NEWLAPACK 的内部符号：cblas_sgemm，导致使用此符号的应用程序无法发布到 App Store

构建链接到 swift 包 llama.cpp 的应用程序在发布到应用商店时在应用程序验证阶段会出现错误。特别是，它给出的错误说app references non-public symbol cblas_sgemm$NEWLAPACK$ILP64

5热度

16回答

[ggerganov/llama.cpp][用户] 实现 Streaming LLM - 让推理更高效

先决条件上下文长度限制是所有 LLM 都存在的问题。以下存储库和相关论文表明，保留 4 个初始标记将使大多数常见 LLM 上的上下文长度无限大，而不会牺牲性能或效率。代码：https://github.com/mit-han-lab/streaming-llm 存储库内的论文参考资料展示了 LLM 的注意力集中效应以及如何利用它。当前行为上下文长度的限制主要由预训练定义。其他方法（如 ro

9热度

16回答

[ggerganov/llama.cpp]转换：更新 Falcon 脚本以适应新的 HF 配置

这使 Falcon 转换脚本与HuggingFace 模型的最新更改保持一致。

7热度

5回答

[ggerganov/llama.cpp][bug] 运行多 GPU 推理时，ROCm 出现段错误。

预期行为预期 Tensor 分割将利用多 GPU。当前行为使用多 GPU 时，模型加载后发生段错误。使用 GPU（安装了两个 vega-56）和 HIP_VISIBLE_DEVICES 强制进行单 GPU 推理时，可纠正推理。环境与背景请提供有关您的计算机设置的详细信息。这很重要，因为除非在某些特定条件下，否则问题无法重现。您正在使用的物理（或虚拟）硬件，例如 Linux：锐龙

6热度

5回答

[ggerganov/llama.cpp]即使不处于交互模式，也启用 sigint 处理程序

处理信号处理的两个问题：例如，当用作 docker 容器中的入口点时main，不会捕获 ^C 并且无法终止（没有 kill -9）。此外，当前的信号处理代码有些不一致，定义了一个信号处理程序，但除非请求 -i，否则不会将其设置为处理程序。这导致控制台清理未被调用（并且不会输出时间）。此代码：添加 --sigint 以便 CTRL-C 将在非交互模式下立即执行清理+计时+退出。备择

8热度

13回答

[ggerganov/llama.cpp]通过放宽 constness 来修复 ROCM 构建

至少在我的系统上，这个改变对于使用 ROCM 进行构建似乎是必要的。 ggml-cuda.cu:7370:9: error: no matching function for call to 'hipblasGemmBatchedEx' cublasGemmBatchedEx(g_cublas_handles[id], CUBLAS_OP_T, CUBLAS_OP_N,

1热度

8回答

[ggerganov/llama.cpp]metal：修复 #2268 之后的构建错误和 rope kernel sig

不确定其他人是如何编译的。在 M2 Ultra 上，MSL 代码中存在相当多的错误： ggml_metal_init: allocating ggml_metal_init: found device: Apple M2 Ultra ggml_metal_init: picking default device: Apple M2 Ultra ggml_metal_init: default.me

3热度

14回答

[ggerganov/llama.cpp]同步：ggml（后端 v2）

这是将新的 ggml 后端接口引入的第一步llama.cpp。目前应该没有任何功能变化 - 仅在需要的地方过渡到新 API。此 PR 可能会保持开放，直到我们确认一切正常，因此非常感谢您提供测试帮助。我们预计存在问题的代码的主要部分是训练示例：微调从零开始训练小骆驼我会在自述文件中放置一条通知，以引导人们到这里。一般来说，如果您关心中的某些特定功能llama.cpp，请签出此分支并

6热度

26回答

[ggerganov/llama.cpp]检查 CUDA 内存池支持

有些设备不支持内存池，但仍会将内存池数组元素从 nullptr 覆盖为某些垃圾值。我从设备属性中添加了额外检查。包括多 GPU 池访问支持和内存池访问检查。

9热度

4回答

[babysor/MockingBird]请问VC模式怎么用

我的Demo BOX运行和训练都没有问题，但是VC模式界面里那个第一步的Seslect（选择为被转换的语音输入）一直按了没有任何反应，请指导

3热度

3回答

[babysor/MockingBird]运行数据集：assert args.dataset in recognized_datasets, 'is not supported,

train文件夹在E:\aidatatang_200zh_2\aidatatang_200zh\corpus，根目录就是E:\aidatatang_200zh_2吧？但是好像不太对劲，如图

3热度

5回答

[babysor/MockingBird]请问使用预设模型还需要怎样的操作，是我哪里配置出问题了吗，都仅生成1秒左右的电流声音

弄了两天不知道问题在哪里，望指路，使用的模型有miven跟FawenYo的，都是一样的结果，是我哪里配置出问题了吗

2热度

4回答

[babysor/MockingBird]合成器训练的loss一直在0.49附近震荡，无法降低

你好，想请教一下，使用了 aidatatang_200zh，aishell3，magicdata 这三个数据集合并在一起训练合成器，大概从50k步开始，运行到123k步，loss值都在0.49附近震荡，没法进一步收敛。请指教一下方向，应该如何处理。另外，请问有没有可供交流的微信群或QQ群？谢谢！

6热度

5回答

[babysor/MockingBird]训练时出现问题

使用nvidia官方pytorch23.01 docker镜像进行训练时，经常出现Floating point exception然后中断训练 python版本3.8.10 使用win11系统训练时会出现训练完一个epoch后卡住，不继续训练，任务管理器cuda占用降到0，ctrl+c无法结束，只能关掉cmd窗口重新打开，python版本3.9.0，显卡为RTX 4090，cuda11.3

2热度

4回答

[babysor/MockingBird]中英模型怎么训练

想要同时支持中文和英文的播报，怎么训练模型啊？

8热度

3回答

[babysor/MockingBird]自问自答-新版本如何训练合成器

众所周知新版本把synthesizer_train.py文件挪到了...\control\cli，并且更新了依赖库，但是依赖库里面有一个models的依赖常规的pip install根本装不上，配套的文档也没有，其实你只需要将主目录下的models、monotonic_align、utils放到{python安装目录}\Python\Python39\Lib\site-packages中再按照文档

4热度

5回答

[babysor/MockingBird]執行demo_toolbox.py Error in sys.excepthook 沒有其它訊息

Summary[问题简述（一句话）] python demo_toolbox.py -d .\samples 畫面閃爍一下就消失 Arguments: datasets_root: samples vc_mode: False enc_models_dir: data\ckpt\encoder syn_models_dir:

2热度

3回答

[babysor/MockingBird]aidatatang数据预处理报错

大佬们有没有遇到下面的问题啊，用最新的代码跑 aidatatang数据集预处理的时候报错，

2热度

3回答

[babysor/MockingBird]win11启动\demo_toolbox.py 报错 Error in sys.excepthook: 按照#844修改依旧

win11启动\demo_toolbox.py 报错 Error in sys.excepthook: 按照#844修改依旧

9热度

7回答

[babysor/MockingBird]安裝錯誤 Could not find a version that satisfies the requirement monotonic-align==0.0.3 (from versions: 1.0.0)

安裝 pip install -r requirements.txt 出現錯誤，查看 monotonic-align 已經只有 1.0.0 可以怎麼排除呢？