You are not logged in.
after enough uptime (usually a day or two) unaccounted ram usage grows and grows, eventually reaching high enough to cause oom situations
this memory is never reclaimed in oom situations, and the oom killer opts to kill actual processes instead of reclaiming this memory
doing a logout doesnt free this memory, rebooting does
ps_mem reports much lower usage that seems reasonable for what's actually running
this memory appears in btop/top/htop's totals but not in the processes list
has persisted for a few months now, issue appeared a week or two after a reinstall
havent been able to find the solution to this anywhere online
output of free -h -w (swapoff -a was used here in an attempt to see if the issue was swap, to no effect)
total used free shared buffers cache available
Mem: 23Gi 9.1Gi 13Gi 3.4Gi 63Mi 4.7Gi 14Gi
Swap: 11Gi 0B 11Gips_mem reports 2.4 GB
output of cat /proc/meminfo
MemTotal: 24530588 kB
MemFree: 13924600 kB
MemAvailable: 14987596 kB
Buffers: 65448 kB
Cached: 4751452 kB
SwapCached: 0 kB
Active: 1361676 kB
Inactive: 5531356 kB
Active(anon): 724028 kB
Inactive(anon): 4889820 kB
Active(file): 637648 kB
Inactive(file): 641536 kB
Unevictable: 528 kB
Mlocked: 528 kB
SwapTotal: 12264956 kB
SwapFree: 12264956 kB
Zswap: 0 kB
Zswapped: 0 kB
Dirty: 1288 kB
Writeback: 0 kB
AnonPages: 2064540 kB
Mapped: 301872 kB
Shmem: 3537716 kB
KReclaimable: 179340 kB
Slab: 348456 kB
SReclaimable: 179340 kB
SUnreclaim: 169116 kB
KernelStack: 14800 kB
PageTables: 21664 kB
SecPageTables: 0 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 24530248 kB
Committed_AS: 9055560 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 124936 kB
VmallocChunk: 0 kB
Percpu: 33152 kB
HardwareCorrupted: 0 kB
AnonHugePages: 688128 kB
ShmemHugePages: 0 kB
ShmemPmdMapped: 0 kB
FileHugePages: 116736 kB
FilePmdMapped: 24576 kB
CmaTotal: 0 kB
CmaFree: 0 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
Hugetlb: 0 kB
DirectMap4k: 5327324 kB
DirectMap2M: 19763200 kB
DirectMap1G: 1048576 kBoutput of sudo cat /proc/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
fat_inode_cache 40 40 800 20 4 : tunables 0 0 0 : slabdata 2 2 0
fat_cache 0 0 40 102 1 : tunables 0 0 0 : slabdata 0 0 0
fuse_request 130 130 152 26 1 : tunables 0 0 0 : slabdata 5 5 0
fuse_inode 39 39 832 39 8 : tunables 0 0 0 : slabdata 1 1 0
kcopyd_job 0 0 3240 10 8 : tunables 0 0 0 : slabdata 0 0 0
dm_uevent 0 0 2888 11 8 : tunables 0 0 0 : slabdata 0 0 0
ext4_groupinfo_4k 7062 7062 184 22 1 : tunables 0 0 0 : slabdata 321 321 0
ext4_fc_dentry_update 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
ext4_inode_cache 11799 11799 1192 27 8 : tunables 0 0 0 : slabdata 437 437 0
ext4_prealloc_space 432 432 112 36 1 : tunables 0 0 0 : slabdata 12 12 0
ext4_io_end 1088 1088 64 64 1 : tunables 0 0 0 : slabdata 17 17 0
bio_post_read_ctx 170 170 48 85 1 : tunables 0 0 0 : slabdata 2 2 0
extent_status 8323 8364 40 102 1 : tunables 0 0 0 : slabdata 82 82 0
jbd2_journal_handle 3285 3577 56 73 1 : tunables 0 0 0 : slabdata 49 49 0
jbd2_journal_head 1496 1666 120 34 1 : tunables 0 0 0 : slabdata 49 49 0
jbd2_revoke_table_s 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
jbd2_revoke_record_s 2304 2816 32 128 1 : tunables 0 0 0 : slabdata 22 22 0
bio-136 2058 2058 192 21 1 : tunables 0 0 0 : slabdata 98 98 0
fsverity_info 0 0 272 30 2 : tunables 0 0 0 : slabdata 0 0 0
fscrypt_info 360 360 136 30 1 : tunables 0 0 0 : slabdata 12 12 0
MPTCPv6 0 0 2112 15 8 : tunables 0 0 0 : slabdata 0 0 0
ip6-frags 0 0 184 22 1 : tunables 0 0 0 : slabdata 0 0 0
PINGv6 0 0 1216 26 8 : tunables 0 0 0 : slabdata 0 0 0
RAWv6 468 468 1216 26 8 : tunables 0 0 0 : slabdata 18 18 0
UDPv6 288 288 1344 24 8 : tunables 0 0 0 : slabdata 12 12 0
tw_sock_TCPv6 360 360 272 30 2 : tunables 0 0 0 : slabdata 12 12 0
request_sock_TCPv6 0 0 312 26 2 : tunables 0 0 0 : slabdata 0 0 0
TCPv6 156 156 2432 13 8 : tunables 0 0 0 : slabdata 12 12 0
scsi_sense_cache 192 192 128 32 1 : tunables 0 0 0 : slabdata 6 6 0
io_kiocb 128 128 256 32 2 : tunables 0 0 0 : slabdata 4 4 0
bfq_io_cq 0 0 1360 24 8 : tunables 0 0 0 : slabdata 0 0 0
mqueue_inode_cache 384 384 1024 32 8 : tunables 0 0 0 : slabdata 12 12 0
kioctx 28 28 576 28 4 : tunables 0 0 0 : slabdata 1 1 0
userfaultfd_ctx_cache 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
fanotify_perm_event 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
dnotify_struct 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
UNIX 930 1230 1088 30 8 : tunables 0 0 0 : slabdata 41 41 0
ip4-frags 0 0 200 20 1 : tunables 0 0 0 : slabdata 0 0 0
MPTCP 0 0 1920 17 8 : tunables 0 0 0 : slabdata 0 0 0
request_sock_subflow_v6 0 0 384 21 2 : tunables 0 0 0 : slabdata 0 0 0
request_sock_subflow_v4 0 0 384 21 2 : tunables 0 0 0 : slabdata 0 0 0
xfrm_dst_cache 0 0 320 25 2 : tunables 0 0 0 : slabdata 0 0 0
xfrm_state 0 0 768 21 4 : tunables 0 0 0 : slabdata 0 0 0
ip_fib_trie 1020 1020 48 85 1 : tunables 0 0 0 : slabdata 12 12 0
ip_fib_alias 876 876 56 73 1 : tunables 0 0 0 : slabdata 12 12 0
PING 0 0 1024 32 8 : tunables 0 0 0 : slabdata 0 0 0
RAW 64 64 1024 32 8 : tunables 0 0 0 : slabdata 2 2 0
tw_sock_TCP 360 360 272 30 2 : tunables 0 0 0 : slabdata 12 12 0
request_sock_TCP 312 312 312 26 2 : tunables 0 0 0 : slabdata 12 12 0
TCP 196 196 2304 14 8 : tunables 0 0 0 : slabdata 14 14 0
hugetlbfs_inode_cache 48 48 672 24 4 : tunables 0 0 0 : slabdata 2 2 0
dquot 416 416 256 32 2 : tunables 0 0 0 : slabdata 13 13 0
bio-264 75 75 320 25 2 : tunables 0 0 0 : slabdata 3 3 0
ep_head 3072 3072 16 256 1 : tunables 0 0 0 : slabdata 12 12 0
dax_cache 39 39 832 39 8 : tunables 0 0 0 : slabdata 1 1 0
bio_crypt_ctx 714 714 40 102 1 : tunables 0 0 0 : slabdata 7 7 0
request_queue 102 102 944 34 8 : tunables 0 0 0 : slabdata 3 3 0
bio-200 1280 1408 256 32 2 : tunables 0 0 0 : slabdata 44 44 0
biovec-max 320 336 4096 8 8 : tunables 0 0 0 : slabdata 42 42 0
biovec-64 384 384 1024 32 8 : tunables 0 0 0 : slabdata 12 12 0
khugepaged_mm_slot 432 432 112 36 1 : tunables 0 0 0 : slabdata 12 12 0
user_namespace 312 312 624 26 4 : tunables 0 0 0 : slabdata 12 12 0
dmaengine-unmap-256 15 15 2112 15 8 : tunables 0 0 0 : slabdata 1 1 0
dmaengine-unmap-128 30 30 1088 30 8 : tunables 0 0 0 : slabdata 1 1 0
dmaengine-unmap-16 3752 5355 192 21 1 : tunables 0 0 0 : slabdata 255 255 0
dmaengine-unmap-2 27735 37312 64 64 1 : tunables 0 0 0 : slabdata 583 583 0
audit_buffer 170 170 24 170 1 : tunables 0 0 0 : slabdata 1 1 0
sock_inode_cache 1894 2457 832 39 8 : tunables 0 0 0 : slabdata 63 63 0
skbuff_small_head 975 1100 640 25 4 : tunables 0 0 0 : slabdata 44 44 0
skbuff_fclone_cache 1408 1408 512 32 4 : tunables 0 0 0 : slabdata 44 44 0
skbuff_head_cache 1326 1408 256 32 2 : tunables 0 0 0 : slabdata 44 44 0
file_lock_cache 444 444 216 37 2 : tunables 0 0 0 : slabdata 12 12 0
buffer_head 101915 103584 104 39 1 : tunables 0 0 0 : slabdata 2656 2656 0
task_delay_info 336 336 144 28 1 : tunables 0 0 0 : slabdata 12 12 0
taskstats 444 444 432 37 4 : tunables 0 0 0 : slabdata 12 12 0
proc_dir_entry 2835 2835 192 21 1 : tunables 0 0 0 : slabdata 135 135 0
proc_inode_cache 111965 112244 720 22 4 : tunables 0 0 0 : slabdata 5102 5102 0
seq_file 408 408 120 34 1 : tunables 0 0 0 : slabdata 12 12 0
sigqueue 918 918 80 51 1 : tunables 0 0 0 : slabdata 18 18 0
bdev_cache 60 60 1600 20 8 : tunables 0 0 0 : slabdata 3 3 0
shmem_inode_cache 3057 3580 784 20 4 : tunables 0 0 0 : slabdata 179 179 0
kernfs_node_cache 42885 42976 128 32 1 : tunables 0 0 0 : slabdata 1343 1343 0
mnt_cache 1296 1300 320 25 2 : tunables 0 0 0 : slabdata 52 52 0
filp 7272 13472 256 32 2 : tunables 0 0 0 : slabdata 421 421 0
inode_cache 19339 20800 648 25 4 : tunables 0 0 0 : slabdata 832 832 0
dentry 148589 151557 192 21 1 : tunables 0 0 0 : slabdata 7217 7217 0
names_cache 104 104 4096 8 8 : tunables 0 0 0 : slabdata 13 13 0
net_namespace 91 91 4608 7 8 : tunables 0 0 0 : slabdata 13 13 0
iint_cache 0 0 120 34 1 : tunables 0 0 0 : slabdata 0 0 0
lsm_file_cache 16095 52224 8 512 1 : tunables 0 0 0 : slabdata 102 102 0
uts_namespace 444 444 432 37 4 : tunables 0 0 0 : slabdata 12 12 0
nsproxy 672 672 72 56 1 : tunables 0 0 0 : slabdata 12 12 0
vma_lock 32074 106080 40 102 1 : tunables 0 0 0 : slabdata 1040 1040 0
files_cache 345 345 704 23 4 : tunables 0 0 0 : slabdata 15 15 0
signal_cache 859 952 1152 28 8 : tunables 0 0 0 : slabdata 34 34 0
sighand_cache 750 750 2112 15 8 : tunables 0 0 0 : slabdata 50 50 0
task_struct 991 1083 8384 3 8 : tunables 0 0 0 : slabdata 361 361 0
cred_jar 31170 74382 192 21 1 : tunables 0 0 0 : slabdata 3542 3542 0
anon_vma_chain 13501 40064 64 64 1 : tunables 0 0 0 : slabdata 626 626 0
anon_vma 8813 21723 104 39 1 : tunables 0 0 0 : slabdata 557 557 0
pid 2819 3328 128 32 1 : tunables 0 0 0 : slabdata 104 104 0
irq_remap_cache 128 128 2048 16 8 : tunables 0 0 0 : slabdata 8 8 0
Acpi-ParseExt 390 390 104 39 1 : tunables 0 0 0 : slabdata 10 10 0
Acpi-State 2782 3162 80 51 1 : tunables 0 0 0 : slabdata 62 62 0
shared_policy_node 3230 3230 48 85 1 : tunables 0 0 0 : slabdata 38 38 0
numa_policy 146895 155904 32 128 1 : tunables 0 0 0 : slabdata 1218 1218 0
perf_event 312 312 1256 26 8 : tunables 0 0 0 : slabdata 12 12 0
trace_event_file 2576 2576 88 46 1 : tunables 0 0 0 : slabdata 56 56 0
ftrace_event_field 8833 8833 56 73 1 : tunables 0 0 0 : slabdata 121 121 0
maple_node 4365 14208 256 32 2 : tunables 0 0 0 : slabdata 444 444 0
radix_tree_node 27742 45108 584 28 4 : tunables 0 0 0 : slabdata 1611 1611 0
task_group 300 300 640 25 4 : tunables 0 0 0 : slabdata 12 12 0
mm_struct 368 368 1408 23 8 : tunables 0 0 0 : slabdata 16 16 0
vmap_area 23902 34496 72 56 1 : tunables 0 0 0 : slabdata 616 616 0
kmalloc-cg-8k 48 48 8192 4 8 : tunables 0 0 0 : slabdata 12 12 0
kmalloc-cg-4k 313 328 4096 8 8 : tunables 0 0 0 : slabdata 41 41 0
kmalloc-cg-2k 656 688 2048 16 8 : tunables 0 0 0 : slabdata 43 43 0
kmalloc-cg-1k 809 960 1024 32 8 : tunables 0 0 0 : slabdata 30 30 0
kmalloc-cg-512 1254 1408 512 32 4 : tunables 0 0 0 : slabdata 44 44 0
kmalloc-cg-256 640 640 256 32 2 : tunables 0 0 0 : slabdata 20 20 0
kmalloc-cg-192 1575 1575 192 21 1 : tunables 0 0 0 : slabdata 75 75 0
kmalloc-cg-128 704 704 128 32 1 : tunables 0 0 0 : slabdata 22 22 0
kmalloc-cg-96 756 756 96 42 1 : tunables 0 0 0 : slabdata 18 18 0
kmalloc-cg-64 1088 1088 64 64 1 : tunables 0 0 0 : slabdata 17 17 0
kmalloc-cg-32 1792 1792 32 128 1 : tunables 0 0 0 : slabdata 14 14 0
kmalloc-cg-16 3072 3072 16 256 1 : tunables 0 0 0 : slabdata 12 12 0
kmalloc-cg-8 6144 6144 8 512 1 : tunables 0 0 0 : slabdata 12 12 0
dma-kmalloc-8k 0 0 8192 4 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-4k 0 0 4096 8 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-2k 0 0 2048 16 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-1k 0 0 1024 32 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-512 0 0 512 32 4 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-256 0 0 256 32 2 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-192 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-128 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-96 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-64 0 0 64 64 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-32 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-16 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-8 0 0 8 512 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-8k 0 0 8192 4 8 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-4k 0 0 4096 8 8 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-2k 0 0 2048 16 8 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-1k 0 0 1024 32 8 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-512 0 0 512 32 4 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-256 0 0 256 32 2 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-192 210 210 192 21 1 : tunables 0 0 0 : slabdata 10 10 0
kmalloc-rcl-128 1120 1120 128 32 1 : tunables 0 0 0 : slabdata 35 35 0
kmalloc-rcl-96 2176 2310 96 42 1 : tunables 0 0 0 : slabdata 55 55 0
kmalloc-rcl-64 3869 6336 64 64 1 : tunables 0 0 0 : slabdata 99 99 0
kmalloc-rcl-32 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-16 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-rcl-8 0 0 8 512 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-8k 265 280 8192 4 8 : tunables 0 0 0 : slabdata 70 70 0
kmalloc-4k 1019 1040 4096 8 8 : tunables 0 0 0 : slabdata 130 130 0
kmalloc-2k 1689 1696 2048 16 8 : tunables 0 0 0 : slabdata 106 106 0
kmalloc-1k 15074 18304 1024 32 8 : tunables 0 0 0 : slabdata 572 572 0
kmalloc-512 12016 16832 512 32 4 : tunables 0 0 0 : slabdata 526 526 0
kmalloc-256 7954 15264 256 32 2 : tunables 0 0 0 : slabdata 477 477 0
kmalloc-192 18541 20370 192 21 1 : tunables 0 0 0 : slabdata 970 970 0
kmalloc-128 3504 4448 128 32 1 : tunables 0 0 0 : slabdata 139 139 0
kmalloc-96 7244 10878 96 42 1 : tunables 0 0 0 : slabdata 259 259 0
kmalloc-64 20708 25600 64 64 1 : tunables 0 0 0 : slabdata 400 400 0
kmalloc-32 16219 17536 32 128 1 : tunables 0 0 0 : slabdata 137 137 0
kmalloc-16 14586 14848 16 256 1 : tunables 0 0 0 : slabdata 58 58 0
kmalloc-8 12196 12288 8 512 1 : tunables 0 0 0 : slabdata 24 24 0
kmem_cache_node 640 640 64 64 1 : tunables 0 0 0 : slabdata 10 10 0
kmem_cache 384 384 256 32 2 : tunables 0 0 0 : slabdata 12 12 0output of df -h (/dev/shm was umounted here to attempt to get the memory back, no effect beyond killing actual user processes, had 3.2 GB usage before umount)
Filesystem Size Used Avail Use% Mounted on
dev 12G 0 12G 0% /dev
run 12G 1.2M 12G 1% /run
/dev/nvme0n1p3 867G 307G 516G 38% /
tmpfs 12G 15M 12G 1% /tmp
/dev/nvme0n1p1 511M 129M 383M 26% /boot
tmpfs 2.4G 36K 2.4G 1% /run/user/1000Last edited by pseudopulse (2023-11-16 04:05:47)
Offline
Offline
amd gpu yeah (AMD ATI Radeon RX 6600/6600 XT/6600M to be exact, using amdgpu driver)
checked that thread and tried both limiting the gtt size to 512M and disabling transparent hugepages to no effect
Offline
There's no known mitigation, but you can try to exit the graphical.target and drop all caches to see whether that frees the RAM to inidcate that it's the same situation.
And you could try https://bbs.archlinux.org/viewtopic.php … 9#p2096229 because at this point it's rather likely a bug in the amdgpu kernel module.
Offline
isolating to multi-user.target and then dropping caches frees it yeah
dropping caches from within graphical.target does not
Offline
So same issue. I'd test the older kernel against this to ensure this is a regression on the amdgpu kernel module (and not elsewhere)
Edit: and you'll proabably want to record your findings in the other thread and report this one as duplicate to concentrate the efforts.
Last edited by seth (2023-08-01 19:22:33)
Offline
after some attempts it may not be related?
booting 5.15 without downgrades (driver unloaded to actually boot, hang otherwise), issue persists (sum of memory in a fresh tty-only session off 600 mb lower than amount reported used by free)
after downgrading linux-firmware to 20220101 and all mesa and vulkan packages to 22.0.0, and booting current kernel, issue persists
booting 5.15 with downgrades, persists
with downgrades, amdgpu would not load on 5.15 (hang on boot at [drm] JPEG decoding), was unable to test w/ that
reading through one of the other threads, you had mentioned an extremely large AGP value, and my dmesg does report 267894784M AGP
Offline
I don't think the other thread had ever explored the 5.15 kernel and/or confirmed that it wasn't affected?
The ridonculous AGP value is a red herring (the value report was only now introduced and is "off" pretty much everywhere)
Is this also a hybrid graphics system?
Offline
system with just an amd gpu and no integrated gpu
Offline
going off the linked issues, page pool output is low and dropping them has no effect
Last edited by pseudopulse (2023-11-04 19:41:14)
Offline
issue resolved after disabling zram
Offline