ciao
l' xml io lo configuro
<record model="res.groups" id="group_switcher_manager">
<field name="name">SwManager</field>
</record>
cioè senza
<field name="category_id" ref="category_switcher"/>
e mi funziona...
e poi prova anche a configurare un file ir.model.access.csv
"id","name","model_id:id","group_id:id","perm_read","perm_write","perm_create","perm_unlink"
"access_xxx","module.modelname user","model_model_name","group_name",1,0,0,0 <-- gli ultimi 4 numeri sono le permission read ,write create delete