Bug #23828
Updated by Sage Weil about 6 years ago
<pre>
2018-04-23 16:46:11.811 7f65a126d700 15 filestore(/var/lib/ceph/osd/ceph-9) _split_collection(5721): 2.1bs4_head bits: 7
2018-04-23 16:46:11.811 7f65a126d700 15 filestore(/var/lib/ceph/osd/ceph-9) collection_stat(4943): /var/lib/ceph/osd/ceph-9/current/2.1bs4_head
2018-04-23 16:46:11.811 7f65a126d700 10 filestore(/var/lib/ceph/osd/ceph-9) collection_stat(4947): /var/lib/ceph/osd/ceph-9/current/2.1bs4_head = 0
2018-04-23 16:46:11.811 7f65a126d700 15 filestore(/var/lib/ceph/osd/ceph-9) collection_stat(4943): /var/lib/ceph/osd/ceph-9/current/2.5bs4_head
2018-04-23 16:46:11.811 7f65a126d700 10 filestore(/var/lib/ceph/osd/ceph-9) collection_stat(4947): /var/lib/ceph/osd/ceph-9/current/2.5bs4_head = 0
</pre>
split of 2.1b into 2.1b and 2.5b
<pre>
2018-04-23 16:46:12.735 7f658ed4e700 20 list_by_hash_bitwise prefix BD8ADDDE ob 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head#52
</pre>
object correctly seen in 2.5b
<pre>
2018-04-23 16:46:12.739 7f658ed4e700 5 filestore(/var/lib/ceph/osd/ceph-9) queue_transactions(2246): osr 0x55b291a7c780 osr(2.5bs4_head)
2018-04-23 16:46:12.739 7f658ed4e700 10 journal prepare_entry [Transaction(0x55b29055ad80)]
2018-04-23 16:46:12.739 7f658ed4e700 10 journal len 5821 -> 8192 (head 40 pre_pad 0 bl 5821 post_pad 2291 tail 40) (bl alignment -1)
2018-04-23 16:46:12.739 7f658ed4e700 10 journal op_submit_start 12611
2018-04-23 16:46:12.739 7f658ed4e700 5 filestore(/var/lib/ceph/osd/ceph-9) queue_transactions(2288): (writeahead) 12611 [Transaction(0x55b29055ad80)]
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore.osr(0x55b291a7c780) _register_apply 0x55b291139360 #-1:c0371625:::snapmapper:0# (0x55b29177f860)
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore.osr(0x55b291a7c780) _register_apply 0x55b291139360 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:97# (0x55b291ff19e0)
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore.osr(0x55b291a7c780) _register_apply 0x55b291139360 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:ac# (0x55b291ff1920)
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore.osr(0x55b291a7c780) _register_apply 0x55b291139360 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:cd# (0x55b291ff1860)
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore.osr(0x55b291a7c780) _register_apply 0x55b291139360 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head#52 (0x55b291fef0a0)
</pre>
a register_apply on the object, also in 2.5b
<pre>
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore(/var/lib/ceph/osd/ceph-9) collection_list(5071): pool is 2 shard is 4 pgid 2.1bs4
2018-04-23 16:46:12.739 7f658ed4e700 10 filestore(/var/lib/ceph/osd/ceph-9) collection_list(5079): first checking temp pool
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore(/var/lib/ceph/osd/ceph-9) collection_list(5071): pool is -4 shard is 4 pgid 2.1bs4
2018-04-23 16:46:12.739 7f658ed4e700 20 _collection_list_partial start:GHMIN end:GHMAX-30 ls.size 0
2018-04-23 16:46:12.739 7f658ed4e700 20 filestore(/var/lib/ceph/osd/ceph-9) objects: []
2018-04-23 16:46:12.739 7f658ed4e700 10 filestore(/var/lib/ceph/osd/ceph-9) collection_list(5087): fall through to non-temp collection, start 4#-1:00000000::::0#
2018-04-23 16:46:12.739 7f658ed4e700 20 _collection_list_partial start:4#-1:00000000::::0# end:GHMAX-30 ls.size 0
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B1000000
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B1000000 ob 4#2:d8000000::::head#
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B183F193
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B183F193 ob 4#2:d81cf89c:::smithi04114511-3 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:db#
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B183F193 ob 4#2:d81cf89c:::smithi04114511-3 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:106#
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix B183F193 ob 4#2:d81cf89c:::smithi04114511-3 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head#
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix BD8ADDDE
2018-04-23 16:46:12.739 7f658ed4e700 20 list_by_hash_bitwise prefix BD8ADDDE ob 4#2:db15bbb7:::smithi04114511-35 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head#52
</pre>
...and then object appears inside 2.1b.
a bit later, we crash when deleting the pg due to the snapmapper mask check:
<pre>
2018-04-23 16:46:12.743 7f658ed4e700 -1 /build/ceph-13.0.2-1662-ge51e976/src/osd/SnapMapper.cc: In function 'int SnapMapper::remove_oid(const hobject_t&, MapCacher::Transaction<std::__cxx11::basic_string<char>, ceph::buffer::list>*)' thread 7f658ed4e700 time 2018-04-23 16:46:12.745431
/build/ceph-13.0.2-1662-ge51e976/src/osd/SnapMapper.cc: 330: FAILED assert(check(oid))
</pre>
/a/sage-2018-04-23_15:07:57-rados-wip-sage3-testing-2018-04-23-0831-distro-basic-smithi/2430790